AWS AthenaでALBのログを過去分も検索する方法です。 AWSの公式ドキュメントの通りAthenaの設定をするとALBの過去ログが検索できません。しかし正規表現をいい感じにすることで過去ログも検索できるようになりました。さらにAthenaのテーブル作成、Terraform…

この記事は クラウドワークス Advent Calendar 2021 の１８日目の記事です。 こんにちは。crowdworks.jp で、市場投入までの時間短縮を目指して日々改善活動をしている @ryogift です。最近はCIのテスト実行時間改善に取り組んでいますので、その際に調査し…

MySQLからRedshiftへの同期の仕組みをAWS DMS (Database Migration Service)を使用して再構築しました。

クラウドワークスのログ基盤をFluent Bit + Fargate + NLBで再構築した話です。

はじめまして、2020年3月に中途入社したSREチームの @bayashiok です。 今回は入社後、Fargateでサーバレスバッチ基盤を構築した話を書いていきます。 目次 目次 経緯 Fargateを選んだ理由 1. リソースの見積もりがCPU/Memoryだけですむ 2.スケーリングを考…

クラウドワークスは、2020年1月25日に開催されたSRE Next 2020でブース出展を行いました。試行錯誤しながらブース運営について準備をしてきたので、そのなかでやってみてよかったところを振り返ってみたいと思います。

自分のAWSアカウント上のリソースに影響する障害や、ハードウェアメンテナンスなどの対応が必要なイベントをお知らせしてくれるPersonal Health DashboardのイベントをSlackにいい感じに通知してくれる手順をまとめました。

SREチームの那須です。好きな鉱物はダイヤモンドです。宝石の国は今期イチオシのアニメです。ダイヤモンドかわいい。 最近のことですがCrowdWorksにもSREチームというものが誕生しました。CrowdWorks の最近の取り組みについての記事でも取り上げています。 …