近年来，企业为了在市场中获得优势，越来越需要从不断增长的数据量中挖掘出更深入有用的内容，大数据云平台作为打通众多元数据与应用连通的关键一环，成为各企业关注的焦点。12月21日，在第十一届中国数据库技术大会大数据架构设计论坛上，金山云大数据平台基础架构技术负责人关海南分享了《金山云大数据架构及容器化实践》。

从需求出发 金山云构建大数据云平台之路

金山云大数据云平台起初是对公司内部提供大数据相关服务，后面衍生出多种产品包括公有云大数据平台、行业云大数据平台以及企业云大数据平台，并在多个行业广泛应用。

关海南表示，在构建之初，平台更多是从企业实际的业务需求和痛点出发：

一是从完备Dataops的思路着手，提供一套完整、易用的大数据开发平台，业务侧基于平台可以完成离线、实时、挖掘等全流程的开发、测试及部署，并支持各类引擎的导入导出;

二是以赋能数据前台为目标，在数据开发平台的基础上提供高效、高质量、标准化的数据资产管理系统、数据共享系统，直接面向业务提供服务，符合当前的数据中台的建设思路;

三是从高效管理数据的技术维度出发，提供统一元数据引擎、统一查询引擎、存储计算分离、大数据容器化等技术、Hadoop/MPP混合数仓、多云部署等，比较符合当前的湖仓一体的趋势，并和snowflake推崇DWaaS的Serverless模式相近。

经过六年多时间打磨，金山云推出的航母级大数据云平台涵盖了数据湖和数据中台的设计理念。一方面为客户提供一站式大数据平台，提效客户业务开发、大规模资产管理、运维保障的大数据底层能力;另一方面，以云计算平台为核心，形成数据湖运营管理、数据中台基础架构部门核心能力支撑工具。

金山云大数据云平台集结了八大组件、两大支撑体系和一套公共服务。每一个组件都达到了“航母级”标准。其中，标准化组件涵盖数据采集、数据集成、数据开发、数据分析、数据服务、智能调度、数据管理和存储计算八大功能，大数据运维和大数据运营两大支撑体系，实现从监控告警、健康检查、服务管理、统一日志、产品管理、资源计量等的统一管控。公共服务则包括平台门户、项目管理、资源管理、用户管理几大类别，为用户提供高效的数据管理能力。