ZS基于Amazon SageMaker构建安全分析平台,日活用户超 1000 人
ZS Associates在Amazon SageMaker上构建了安全强化平台,服务 200 多个SageMaker域、日活用户超 1000 人。
AI解读:ZS Associates在Amazon SageMaker上搭建了一个安全强化平台,让数据科学家和分析师能在符合医疗行业合规要求的前提下自由做临时分析。这个平台解决了受监管行业的一个核心矛盾:既想给开发者灵活性,又得锁死环境满足审计和安全要求。ZS的做法是把安全标准嵌入开发体验,比如默认无互联网访问、包安装必须经过JFrog Artifactory扫描、用IAM角色分层控制权限、自动关闭闲置资源省成本。对普通读者来说,这不是需要立即行动的产品发布,而是给医疗和生命科学行业提供了一个可复制的架构样板——如果你的公司也在纠结数据访问的灵活性和合规之间的平衡,可以参照这篇博客里描述的技术方案,但具体效果(比如节省了多少合规工作量)目前只有AWS博客列出的数字,没有独立的第三方验证。最终的变化是,ZS内部 1000 多名用户已经把SageMaker当作日常分析工具,这证明在严格管控下,大规模开放高级分析是可行的。
ZS Associates在Amazon SageMaker上构建了一个安全强化的机器学习平台,目前已在 200 多个SageMaker域中部署,日活用户超过 1000 人,月SageMaker支出超过 5 万美元。该平台默认运行在无互联网模式,并通过Amazon VPC端点控制与AWS服务的通信。AWS在博客中介绍了这一架构及ZS的自定义实现。
平台规模与成本控制
据AWS博客文章,ZS的平台已覆盖 200 多个SageMaker域、日活用户超 1000 人(文内另一处提到 500+ 日常用户),月SageMaker支出超过 5 万美元,通过SageMaker Savings Plans每月节省约 1 万美元。ZS还通过基于标签的成本分配,利用AWS Cost Explorer提供跨域、用户和项目的支出可见性,实现按团队计费。
安全与合规架构
ZS为每个租户使用独立的SageMaker域,每个域有隔离的Amazon EFS卷、独立的IAM角色和可控网络设置。平台采用三层IAM角色结构:Domain Execution Roles为默认角色,Studio User Roles提供细粒度控制,Space Execution Roles管理共享工作区,遵循最小权限原则。数据保护上,默认启用AWS KMS加密,EFS卷、S3桶、ECR和CodeCommit仓库自动继承加密(ZS的CodeCommit部署在 2024 年 7 月该服务对新客户关闭之前完成)。平台还集成了CrowdStrike进行操作系统级威胁检测、Splunk用于日志聚合,并通过AWS CloudTrail记录所有API调用以支持审计。
自定义实现与用户自助服务
针对标准SageMaker在受监管多团队场景下的不足,ZS构建了多项自定义功能。其中包括:每 30 分钟自动将SageMaker Spaces数据同步到专用S3桶;为AWS Glue交互会话强制设置默认空闲超时、连接数和工作节点配置;所有包安装(pip、apt、Maven)都通过JFrog Artifactory扫描;通过生命周期配置提供R内核;集成S3浏览器扩展,让用户在JupyterLab内直接浏览和管理S3数据。此外,ZS还开发了基于Streamlit的自助应用,用于管理Amazon Redshift集群启停、通过DuckDB查询S3数据、配置Amazon EMR集群,减少了用户对AWS管理控制台的依赖。平台还通过自定义CloudWatch指标每分钟发布一次Space级资源利用率数据,并允许各Space选择特定Python版本。
未来规划
博客透露,ZS正在探索Amazon SageMaker Feature Store用于集中特征管理、SageMaker Model Registry用于ML生命周期治理,并评估SageMaker Pipelines和Model Monitor,以将治理扩展到生产级ML工作负载。