クラウドワークス エンジニアブログ

日本最大級のクラウドソーシング「クラウドワークス」の開発の裏側をお届けするエンジニアブログ

SRE

2024年 crowdworks.jp の SRE チームでやったこと

SRE

この記事は クラウドワークス Advent Calendar 2024 シリーズ2 17日目の記事です。 こんにちは。クラウドワークス SRE チームの田中(@kangaechu)です。 この記事では クラウドワークス の SRE チームが2024年にやったことを記載していきます。 2024年も様…

ビビリのためのRDS MySQL→Aurora移行

この記事は クラウドワークス Advent Calendar 2024 シリーズ3 11日目の記事です。 こんにちは。クラウドワークス SRE チームの田中(@kangaechu)です。 クラウドワークス では2024年12月に クラウドワークスのマスタデータベースをMySQL から Aurora に移…

Aurora MySQLとRedshiftのゼロETL統合を本番導入しようとしてダメだった

Aurora MySQLとRedshiftのゼロETL統合を本番導入しようとしてダメだった この記事は クラウドワークスグループ Advent Calendar 2024 シリーズ2 の7日目の記事です。 クラウドワークスのSREチームに所属しています@ciloholicです。 今年の7月末に Aurora MyS…

Aurora MySQLとRedshiftのゼロETL統合が本番導入出来るか検証しました

Aurora MySQL Zero ETL Integrations クラウドワークスのSREチームに所属しています@ciloholicです。 2023年11月にAurora MySQLとRedshiftのゼロETL統合がGAされました。この度、ゼロETL統合が本番導入可能かを検証する機会があったので、その検証結果を記載…

AWS Configのアップデートで課金増えていませんか?

AWS Configで急に料金が増加した件と、その対応についてご紹介します。

2023年 crowdworks.jp の SRE チームでやったこと

SRE

crowdworks.jp の SRE チームが2023年にやったことを記載していきます。

今年の汚れ、今年のうちに!MySQLで使っていないインデックスを削除しよう

MySQLで使用していないインデックスを削除する手順です。

SRE NEXT 2023 にスポンサーとして参加します

SRE

こんにちはSREチームでマネージャーをしている @bayashi_okです。 今回、株式会社クラウドワークスは、2023年9月29日(金)に開催される「SRE NEXT 2023」のブロンズスポンサーとして参加します。 また私自身はSRELounge運営メンバーとして、当日スタッフでの…

crowdworks.jpのマスタデータベースをAWS RDS MySQL 5.7から8.0にアップデートしました

CrowdWorks.jpでは、2023年8月にAWS RDS MySQL 5.7から8.0へのアップデートが完了しました。 MySQL 8.0へのアップデートの手順と対応が必要な変更点について書きました。

CloudWatch Logsの料金が高い原因はコレだった。CloudTrailとの微妙な関係

CloudTrailとCloudWatch Logsの関係について知らなかったことをまとめています。

RundeckをFargate化してデプロイを自動化しました

RundeckをFargate化してデプロイを自動化しました 久方ぶりです。crowdworks.jpのSREチームに所属しています @ciloholic です。 この記事では、半年ほど行なっていた「RundeckのECS on Fargate化」の取り組みを紹介していきます。 まず、Rundeckとは PagerDu…

散らばったAWS LambdaのGitHubリポジトリをモノレポ構成にしてメンテナンスコストを削減する

SRE

初めまして。crowdworks.jpのSREチームに所属しています @ciloholic です。 入社してかれこれ1年経ちますが、筆を執る機会がなかったため、今回が初エンジニアブログとなります。 この記事では、入社して3か月ほど行なっていた「AWS Lambda周りのメンテナン…

2022年 crowdworks.jp の SRE チームでやったこと

この記事は クラウドワークス Advent Calendar 2022 の 2日目の記事です。 こんにちは。crowdworks.jp の SRE チームに所属している高橋です。 この記事では crowdworks.jp の SRE チームが2022年にやったことを記載していきます。やっていることは色々で、…

AtlantisでTerraformのドリフト検出

Terraformのドリフト検出(全ディレクトリのTerraform plan差分)をAtlantisで行った方法の紹介。 Atlantisのカスタムワークフローによりplan処理を追加。

AWS AthenaでALBのログを過去分も検索する

AWS AthenaでALBのログを過去分も検索する方法です。 AWSの公式ドキュメントの通りAthenaの設定をするとALBの過去ログが検索できません。しかし正規表現をいい感じにすることで過去ログも検索できるようになりました。さらにAthenaのテーブル作成、Terraform…

crowdworks.jpのCI事情とスローテスト調査内容の紹介

この記事は クラウドワークス Advent Calendar 2021 の18日目の記事です。 こんにちは。crowdworks.jp で、市場投入までの時間短縮を目指して日々改善活動をしている高橋です。最近はCIのテスト実行時間改善に取り組んでいますので、その際に調査した内容…

2021年 SREチームでやったこと

SRE

crowdworks.jpのSREチームが2021年に実施したことをまとめました。

MySQLの約30億レコードをRedshiftにDMSでニアリアルタイム同期した

MySQLからRedshiftへの同期の仕組みをAWS DMS (Database Migration Service)を使用して再構築しました。

300GB/day出力されるログ基盤をFluent Bit + Fargate + NLBで再構築したら、エンジニアの作業効率が上がった

クラウドワークスのログ基盤をFluent Bit + Fargate + NLBで再構築した話です。

Amazon LinuxのEOLに伴いバッチをサーバレス化しFargateに移行した話

はじめまして、2020年3月に中途入社したSREチームの @bayashiok です。 今回は入社後、Fargateでサーバレスバッチ基盤を構築した話を書いていきます。 目次 目次 経緯 Fargateを選んだ理由 1. リソースの見積もりがCPU/Memoryだけですむ 2.スケーリングを考…

SRE NEXT 2020にブース出展しました #srenext

sre

クラウドワークスは、2020年1月25日に開催されたSRE Next 2020でブース出展を行いました。試行錯誤しながらブース運営について準備をしてきたので、そのなかでやってみてよかったところを振り返ってみたいと思います。

AWS Chatbot を使って AWS Personal Health Dashboardの通知をいい感じにSlackに通知する

自分のAWSアカウント上のリソースに影響する障害や、ハードウェアメンテナンスなどの対応が必要なイベントをお知らせしてくれるPersonal Health DashboardのイベントをSlackにいい感じに通知してくれる手順をまとめました。

CrowdWorksのSREチームの仕事

SRE

SREチームの那須です。好きな鉱物はダイヤモンドです。宝石の国は今期イチオシのアニメです。ダイヤモンドかわいい。 最近のことですがCrowdWorksにもSREチームというものが誕生しました。CrowdWorks の最近の取り組みについての記事でも取り上げています。 …

© 2016 CrowdWorks, Inc., All rights reserved.