如果你也想做实时数仓
admin
2021-01-11 02:53:53
0

数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务,数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。

1. 数据仓库简介

数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。

数据仓库是伴随着企业信息化发展起来的,在企业信息化的过程中,随着信息化工具的升级和新工具的应用,数据量变的越来越大,数据格式越来越多,决策要求越来越苛刻,数据仓库技术也在不停的发展。

数据仓库的趋势:

实时数据仓库以满足实时化&自动化决策需求;

大数据&数据湖以支持大量&复杂数据类型(文本、图像、视频、音频);

如果你也想做实时数仓

2. 数据仓库的发展

数据仓库有两个环节:数据仓库的构建与数据仓库的应用。

早期数据仓库构建主要指的是把企业的业务数据库如 ERP、CRM、SCM 等数据按照决策分析的要求建模并汇总到数据仓库引擎中,其应用以报表为主,目的是支持管理层和业务人员决策(中长期策略型决策)。

随着业务和环境的发展,这两方面都在发生着剧烈变化。

随着IT技术走向互联网、移动化,数据源变得越来越丰富,在原来业务数据库的基础上出现了非结构化数据,比如网站 log,IoT 设备数据,APP 埋点数据等,这些数据量比以往结构化的数据大了几个量级,对 ETL 过程、存储都提出了更高的要求;

互联网的在线特性也将业务需求推向了实时化,随时根据当前客户行为而调整策略变得越来越常见,比如大促过程中库存管理,运营管理等(即既有中远期策略型,也有短期操作型);同时公司业务互联网化之后导致同时服务的客户剧增,有些情况人工难以完全处理,这就需要机器自动决策。比如欺诈检测和用户审核。

如果你也想做实时数仓

总结来看,对数据仓库的需求可以抽象成两方面:实时产生结果、处理和保存大量异构数据。

注:这里不讨论数据湖技术。

3. 数据仓库建设方法论 3.1 面向主题

从公司业务出发,是分析的宏观领域,比如供应商主题、商品主题、客户主题和仓库主题

3.2 为多维数据分析服务

数据报表;数据立方体,上卷、下钻、切片、旋转等分析功能。

3.3 反范式数据模型

以事实表和维度表组成的星型数据模型

如果你也想做实时数仓

图片来自 51 CTO

相关内容

热门资讯

有趣的公鸡二年级作文【优质6... 有趣的公鸡二年级作文 篇一我家的公鸡阿呆我家养了一只非常有趣的公鸡,它叫阿呆。阿呆是一只红色的公鸡,...
二年级看图作文:小猴过河【最... 二年级看图作文:小猴过河 篇一今天,我看到了一幅有趣的图片,它给了我很多的启发。图片上画着一只小猴子...
二年级童话作文50个字(实用... 二年级童话作文50个字 篇一《魔法王国的公主》从前,有一个魔法王国,国王有一个可爱的公主。公主拥有着...
小学二年级清明节作文100字... 篇一:小学二年级清明节作文100字优秀清明节是我国的传统节日之一,每年的四月五日前后,人们都会去祭扫...
同学聚餐二年级作文【优选6篇... 同学聚餐二年级作文 篇一我们班级最近举行了一次同学聚餐,我感到非常开心和兴奋。这次同学聚餐是在周末的...
国庆登泰山【通用4篇】 国庆登泰山 篇一国庆佳节,我和家人一同踏上了登泰山的征程。这是一次既充满挑战,又充满快乐的经历。清晨...
老虎滩游玩作文二年级【精彩6... 老虎滩游玩作文二年级 篇一我和家人去了老虎滩游玩,这是一个非常有趣的地方。当我们到达那里时,我立刻被...
小羊过桥【实用4篇】 小羊过桥 篇一小羊过桥是一个寓言故事,讲述了几只小羊要过一座桥的经历。这个故事给我们带来了一些启示和...
写奶奶的作文二年级【精简6篇... 写奶奶的作文二年级 篇一我亲爱的奶奶我有一个最亲爱的奶奶,她是我最敬爱的人。奶奶已经七十多岁了,但她...
二年级最喜欢的动画片作文(精... 二年级最喜欢的动画片作文 篇一我最喜欢的动画片是《蓝精灵》。这部动画片讲述了一群可爱的小精灵与邪恶巫...