COVER Tech 讲解 Snowflake 数据基盘与访问控制经验
摘要
COVER 技术博客 COVER Tech 公开了 Snowflake 全公司数据应用与访问控制运营经验，介绍 ETL、dbt 建模，以及按项目划分工作区、RBAC 角色化的安全自助分析方案。
COVER 株式会社更新了技术博客 COVER Tech，公开了由 CTO 室数据基盘团队工程师 U 撰写的《为了安全而自由的分析：Snowflake 全公司数据应用与访问控制运营术》。
文章介绍了把官方应用“holoplus”、官方电商等自有服务，以及 YouTube 等多个平台产生的数据汇总到 Snowflake 的整体架构。ETL 根据数据源分别使用 TROCCO、Airbyte 和自建 AWS 批处理，再用 dbt 建模，并以 dbt test 与 Source Freshness 自动监控数据质量和新鲜度。
后半部分讲解兼顾安全与自由的访问控制：按项目或团队划分专用数据库工作区，由基盘团队管理对基础加工层的访问，各团队可在自己的空间内自由搭建数据市集。权限按 Snowflake RBAC 打包为 READ 与 READWRITE 两种角色，并用 Terraform 做 IaC 管理。由于 TASK、Stream、Streamlit 等功能都挂在数据库对象下，按工作区控制权限也就控制了功能使用。
团队表示，未来还想给每个工作区加上资源监控，让一线用户自己看到成本、自主管理，在保持自由度的同时管好成本。
文章全文（日文）：https://coveredge.cover-corp.com/list/5273
阅读原文