クラウドワークス エンジニアブログ

日本最大級のクラウドソーシング「クラウドワークス」の開発の裏側をお届けするエンジニアブログ

AWS

CloudWatch Logsの料金が高い原因はコレだった。CloudTrailとの微妙な関係

CloudTrailとCloudWatch Logsの関係について知らなかったことをまとめています。

AWS AthenaでALBのログを過去分も検索する

AWS AthenaでALBのログを過去分も検索する方法です。 AWSの公式ドキュメントの通りAthenaの設定をするとALBの過去ログが検索できません。しかし正規表現をいい感じにすることで過去ログも検索できるようになりました。さらにAthenaのテーブル作成、Terraform…

MySQLの約30億レコードをRedshiftにDMSでニアリアルタイム同期した

MySQLからRedshiftへの同期の仕組みをAWS DMS (Database Migration Service)を使用して再構築しました。

300GB/day出力されるログ基盤をFluent Bit + Fargate + NLBで再構築したら、エンジニアの作業効率が上がった

クラウドワークスのログ基盤をFluent Bit + Fargate + NLBで再構築した話です。

Amazon LinuxのEOLに伴いバッチをサーバレス化しFargateに移行した話

はじめまして、2020年3月に中途入社したSREチームの @bayashiok です。 今回は入社後、Fargateでサーバレスバッチ基盤を構築した話を書いていきます。 目次 目次 経緯 Fargateを選んだ理由 1. リソースの見積もりがCPU/Memoryだけですむ 2.スケーリングを考…

AWS Chatbot を使って AWS Personal Health Dashboardの通知をいい感じにSlackに通知する

自分のAWSアカウント上のリソースに影響する障害や、ハードウェアメンテナンスなどの対応が必要なイベントをお知らせしてくれるPersonal Health DashboardのイベントをSlackにいい感じに通知してくれる手順をまとめました。

AWS Organizationsによるマルチアカウント戦略とその実装

SREチームの @tmknom です。ジョジョ5部のアニメ化に興奮を隠せない今日このごろです。 みなさん、AWS Organizationsは使ってますか? クラウドワークスでも最近使い始めました。AWS Organizations、超絶便利です。こんなに便利なのに、意外と公開されてる事…

AWSで動いているサービスをHerokuに移行した話

こんにちは。好きなオーラバトラーはレプラカーンの那須(@nasum)です。ハイパー化には衝撃を受けました。 今回はAWS上で動いたサービスをHerokuに移した話を書きます。

AWS ECSのサービスをslack botでデプロイする

みなさんさようなら.インフラ部の@h3_potetoです. CrowdWorksは大きなRailsアプリケーションですが,最近ではこの大きさで管理していくのもう無理な気がしてきて,マイクロサービスっぽくしていこうという動きがあります(が,まだ全然マイクロサービスで…

CrowdWorksデプロイ物語

みなさんさようなら,最近デプロイが趣味の@h3_potetoです. この記事は,僕が趣味で改善していたCrowdWorksのデプロイ周りの大改造の歴史を振り返ります.基本的には,デプロイが趣味の方向けの記事です.とても長いです.

Lambda + CloudWatch Events + KMS で AWS コンソールへの不正アクセスを秒速で検知して「平穏な生活」を手に入れる

ペルソナ5にドハマリし、先日100時間以上かけてクリアした @tmknom です。 主人公の名前は吉良吉影。怪盗団の名前はキラークイーンです。ちなみに二周目に突入しました。 さて、みなさんもご存知の通り、 AWS ユーザは常にある不安を抱いています。 AWS アカ…

Terraform+Atlas+GitHubでAWSのIAMユーザのグループポリシーをいいかんじに管理する

はじめに クラウドワークスのインフラエンジニアの森田(@minamijoyo)です。 クラウドソーシングのクラウドワークスではサービスを提供するためのサーバ群をAWS(Amazon Web Services)で運用しています。 AWSではIAM(Identity and Access Management)という…

re:Invent 2015で発表されたAWS Lambdaの新機能を使って、サーバレスなSlackボットをつくりました

AWS

先日、ありがたいことに会社から参加費をいただいて、AWS re:Invent 2015に参加しました。大いに刺激を受けて、その一部が気づいたらソフトウェアとQiita記事に昇華していたので、この場を借りてご紹介させていただきます :bow: 紹介させていただくのは「サ…

© 2016 CrowdWorks, Inc., All rights reserved.