COVER Tech 講解 Snowflake 數據基盤與存取控制經驗
摘要
COVER 技術部落格 COVER Tech 公開了 Snowflake 全公司數據應用與存取控制營運經驗，介紹 ETL、dbt 建模，以及按專案劃分工作區、RBAC 角色化的安全自助分析方案。
COVER 株式會社更新了技術部落格 COVER Tech，公開由 CTO 室數據基盤團隊工程師 U 撰寫的《為了安全而自由的分析：Snowflake 全公司數據應用與存取控制營運術》。
文章介紹了把官方應用「holoplus」、官方電商等自有服務，以及 YouTube 等多個平台產生的數據彙整到 Snowflake 的整體架構。ETL 依數據源分別使用 TROCCO、Airbyte 和自建 AWS 批次處理，再用 dbt 建模，並以 dbt test 與 Source Freshness 自動監控數據品質和新鮮度。
後半部分講解兼顧安全與自由的存取控制：按專案或團隊劃分專用資料庫工作區，由基盤團隊管理對基礎加工層的存取，各團隊可在自己的空間內自由搭建數據市集。權限按 Snowflake RBAC 打包為 READ 與 READWRITE 兩種角色，並用 Terraform 做 IaC 管理。由於 TASK、Stream、Streamlit 等功能都掛在資料庫物件下，按工作區控制權限也就控制了功能使用。
團隊表示，未來還想給每個工作區加上資源監控，讓一線用戶自己看到成本、自主管理，在保持自由度的同時管好成本。
文章全文（日文）：https://coveredge.cover-corp.com/list/5273
閱讀原文