プロダクト本部のSREチームとデータ基盤チームのマネージャーをしている @bayashi_okです。
今回はクラウドワークスでデータ基盤チームの立ち上げに至った背景や、将来的に考えていることなどを書いていこうと思います。
私自身、元々SREチームメンバーとして入社し、その後SREチームのマネージャーとして活動をしていました。
現在はさらにデータ基盤チームを立ち上げ、両チームのエンジニアリングマネジメントをしています。
2025年10月現在、データ基盤チームには自分を含め4人のメンバーが在籍し、全社的なデータ基盤の構築を行っております。
データ基盤チームができた経緯
クラウドワークスは、元々あったcrowdworks.jpを軸に周辺サービスが立ち上がり、成長と統合を繰り返しながら規模を拡大してきました。
そうした中で2024年8月1日に、いくつかのサービスの名称が「クラウドワークス」ブランドに統一されました。
この変化の中で、営業情報と各サービスの情報を統合した上でデータ分析を実現したいといった要望からデータ基盤構築のプロジェクトが立ち上がりました。
立ち上げ当初はスピード感を重視するため、メインクラウドであるAWSを使いデータ基盤構築を進めていきました。
しかし、AWSでのデータ基盤構築後、中長期的なデータ活用とデータ基盤運用を見据え、DWHとして十分な機能と安定した運用が期待できるSnowflakeの導入を提案しました。
そして2025年の年明けからSnowflakeの導入プロジェクトが始まりました。
CRM活用におけるデータ基盤についてはAWSを使った運用も始まっていたため、Snowflakeは新たに始まるMarketing Automation 移行でのデータ活用から導入することを決めました。 その頃には採用も加速し、新たに2名のメンバーが加わり、現在の4名のチーム体制で進められるようになっていました。
データ基盤が抱える課題
そもそも今までのデータ基盤の環境がどうなっていたかというと、以前記載したブログでも課題点としてあげていましたが、元々クラウドワークスは分析環境に独自実装したRedashを使っていました。
しかし構築した開発者がすでにおらず管理者不在のまま使われており、最低限のメンテナンスや整備をSREが行っている状況でした。
また、そこから派生するサイロ化したデータマートも存在し、Redashに乗らないデータソースも多数存在しておりました。 部署によってはこれらをスプレッドシートを使って手作業で組み合わせて分析を行なっている状況です。
そういった課題を解決するためにもデータを管理する部署の必要性は年々と高まってきていました。
そしてこのブログから約3年後、念願のデータ基盤チームの誕生に至りました（長かった…）！
ただまさか私がそこのチームを組成しマネージャーになっているとは、当時からすると夢にも思わなかったでしょう笑
チームとしてようやく活動の幅が持てるようになってきたため、改めてチームの立ち位置についてもメンバーとともに言語化を行っていきました。
インセプションデッキの作成
チームとして動いていける体制が出来上がった事により課題を整理しチームとしてやりたいことを方向づけるため、インセプションデッキの作成を行いました
「我々はなぜここにいるのか」からデータアナリティクスチームとの立ち位置の違いや、夜も眠れない問題などを作っていき、チームとしての役割は大きく
- データ基盤の開発運用
- 各サービス・ユーザ(社内社外含む)への適切なデータ提供
の２つとなりました。
データ基盤の現在地と将来
データ基盤チームが作られて以降、いくつかの取り組みを実施して行きました。
- Marketing Automation移行に伴うデータマート作成
- SnowflakeのTerraform化
- Trocco導入の予算取りと意思決定
- 各部署へのデータの使われ方のヒアリング
- データのAI活用のPoC
- 各施策との連携 etc…
将来的な構想としてはSnowflakeを中心としたデータ基盤の構築を目標に整備を進めている状況です。
また、今後やっていく事としては以下のようなことを行い、データ拡充とデータ連携の整備を行なっていく予定です。
- Troccoの導入
- CRMツールと各サービスのデータ連携システムのSnowflakeへの移行
- CRMツール保持データのクレンジング・マージ処理
- PDFや画像ファイルなどのOCRのデータ化
- 分析基盤として使用されているRedashの移行
- 広告データの連携と広告配信のためのデータ利活用
- 行動ログのデータ連携
- dbtを導入して開発効率と品質の向上
- Icebergを導入してSnowflake以外の基盤から分析できるようにする
- AI活用を見越してテーブルやカラムのメタ情報を充実させる
- データのAI活用
最後に、クラウドワークスでは共に働く仲間を募集しております。
ご興味のある方は以下のリンクから採用情報をご確認ください。
We are hiring!!
