クラウドワークス エンジニアブログ

日本最大級のクラウドソーシング「クラウドワークス」の開発の裏側をお届けするエンジニアブログ

SRE

AtlantisでTerraformのドリフト検出

Terraformのドリフト検出(全ディレクトリのTerraform plan差分)をAtlantisで行った方法の紹介。 Atlantisのカスタムワークフローによりplan処理を追加。

AWS AthenaでALBのログを過去分も検索する

AWS AthenaでALBのログを過去分も検索する方法です。 AWSの公式ドキュメントの通りAthenaの設定をするとALBの過去ログが検索できません。しかし正規表現をいい感じにすることで過去ログも検索できるようになりました。さらにAthenaのテーブル作成、Terraform…

crowdworks.jpのCI事情とスローテスト調査内容の紹介

この記事は クラウドワークス Advent Calendar 2021 の18日目の記事です。 こんにちは。crowdworks.jp で、市場投入までの時間短縮を目指して日々改善活動をしている @ryogift です。最近はCIのテスト実行時間改善に取り組んでいますので、その際に調査し…

MySQLの約30億レコードをRedshiftにDMSでニアリアルタイム同期した

MySQLからRedshiftへの同期の仕組みをAWS DMS (Database Migration Service)を使用して再構築しました。

300GB/day出力されるログ基盤をFluent Bit + Fargate + NLBで再構築したら、エンジニアの作業効率が上がった

クラウドワークスのログ基盤をFluent Bit + Fargate + NLBで再構築した話です。

Amazon LinuxのEOLに伴いバッチをサーバレス化しFargateに移行した話

はじめまして、2020年3月に中途入社したSREチームの @bayashiok です。 今回は入社後、Fargateでサーバレスバッチ基盤を構築した話を書いていきます。 目次 目次 経緯 Fargateを選んだ理由 1. リソースの見積もりがCPU/Memoryだけですむ 2.スケーリングを考…

SRE NEXT 2020にブース出展しました #srenext

sre

クラウドワークスは、2020年1月25日に開催されたSRE Next 2020でブース出展を行いました。試行錯誤しながらブース運営について準備をしてきたので、そのなかでやってみてよかったところを振り返ってみたいと思います。

AWS Chatbot を使って AWS Personal Health Dashboardの通知をいい感じにSlackに通知する

自分のAWSアカウント上のリソースに影響する障害や、ハードウェアメンテナンスなどの対応が必要なイベントをお知らせしてくれるPersonal Health DashboardのイベントをSlackにいい感じに通知してくれる手順をまとめました。

CrowdWorksのSREチームの仕事

SRE

SREチームの那須です。好きな鉱物はダイヤモンドです。宝石の国は今期イチオシのアニメです。ダイヤモンドかわいい。 最近のことですがCrowdWorksにもSREチームというものが誕生しました。CrowdWorks の最近の取り組みについての記事でも取り上げています。 …

© 2016 CrowdWorks, Inc., All rights reserved.