COVER TechがSnowflakeによる全社データ活用とアクセスコントロールを解説

COVER TechがSnowflakeによる全社データ活用とアクセスコントロールを解説

要約

カバーの技術ブログ「COVER Tech」がSnowflakeによる全社データ活用とアクセスコントロールの運用術を公開しました。ETLやdbt、プロジェクト単位のワークスペースとRBACによる安全な自律分析が紹介されています。

カバー株式会社は技術ブログ「COVER Tech」を更新し、CTO室データ分析基盤チームのエンジニアU氏による『安全で自由な分析のために。Snowflakeによる全社データ活用と、「アクセスコントロール」の運用術』を公開しました。 記事では、公式アプリ「ホロプラス」や公式ECなどの自社サービスに加え、YouTubeなど多様なプラットフォームから生まれるデータをSnowflakeに集約する全体像を紹介。ETLにはTROCCOやAirbyte、自社AWSバッチなどを使い分け、dbtでモデリングし、dbt testやSource Freshnessで品質と鮮度を監視しています。 後半では安全で自由な分析のためのアクセスコントロールを解説。プロジェクトやチーム単位で専用データベースのワークスペースを払い出し、基盤チームが加工層への参照を管理した上で、各チームが自由にマートを作れる仕組みにしています。権限はSnowflakeのRBACでREAD/READWRITEにパッケージ化し、TerraformでIaC管理。ワークスペース単位の制御によりTASKやStreamlitなどの機能利用も安全にコントロールできるとしています。 今後はワークスペースごとにリソースモニターを適用し、現場がコストを可視化しながら自律的に管理できる体制を目指すとしています。 記事全文(日本語):https://coveredge.cover-corp.com/list/5273
元記事を読む