如果你也想做实时数仓
admin
2021-01-11 02:53:53
0

数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务,数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。

1. 数据仓库简介

数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。

数据仓库是伴随着企业信息化发展起来的,在企业信息化的过程中,随着信息化工具的升级和新工具的应用,数据量变的越来越大,数据格式越来越多,决策要求越来越苛刻,数据仓库技术也在不停的发展。

数据仓库的趋势:

实时数据仓库以满足实时化&自动化决策需求;

大数据&数据湖以支持大量&复杂数据类型(文本、图像、视频、音频);

如果你也想做实时数仓

2. 数据仓库的发展

数据仓库有两个环节:数据仓库的构建与数据仓库的应用。

早期数据仓库构建主要指的是把企业的业务数据库如 ERP、CRM、SCM 等数据按照决策分析的要求建模并汇总到数据仓库引擎中,其应用以报表为主,目的是支持管理层和业务人员决策(中长期策略型决策)。

随着业务和环境的发展,这两方面都在发生着剧烈变化。

随着IT技术走向互联网、移动化,数据源变得越来越丰富,在原来业务数据库的基础上出现了非结构化数据,比如网站 log,IoT 设备数据,APP 埋点数据等,这些数据量比以往结构化的数据大了几个量级,对 ETL 过程、存储都提出了更高的要求;

互联网的在线特性也将业务需求推向了实时化,随时根据当前客户行为而调整策略变得越来越常见,比如大促过程中库存管理,运营管理等(即既有中远期策略型,也有短期操作型);同时公司业务互联网化之后导致同时服务的客户剧增,有些情况人工难以完全处理,这就需要机器自动决策。比如欺诈检测和用户审核。

如果你也想做实时数仓

总结来看,对数据仓库的需求可以抽象成两方面:实时产生结果、处理和保存大量异构数据。

注:这里不讨论数据湖技术。

3. 数据仓库建设方法论 3.1 面向主题

从公司业务出发,是分析的宏观领域,比如供应商主题、商品主题、客户主题和仓库主题

3.2 为多维数据分析服务

数据报表;数据立方体,上卷、下钻、切片、旋转等分析功能。

3.3 反范式数据模型

以事实表和维度表组成的星型数据模型

如果你也想做实时数仓

图片来自 51 CTO

相关内容

热门资讯

下雨作文四年级300字【最新... 下雨作文四年级300字 篇一雨中的冒险今天早上,我醒来时听到了淅淅沥沥的雨声,我知道今天将是一个下雨...
哥哥,你别走四年级作文(精简... 哥哥,你别走四年级作文 篇一哥哥,你别走亲爱的哥哥,你好吗?我希望你一切都好。我写这封信是因为我听说...
美丽的花仙子四年级优秀作文(... 美丽的花仙子四年级优秀作文 篇一我最喜欢的花仙子我最喜欢的花仙子叫做小花,她有一头金色的长发,眼睛像...
特别的生日作文400字四年级... 特别的生日作文400字四年级 篇一我的特别生日今天是我的生日,我已经等待这一天很久了。我醒来的时候,...
小小动物园作文300字四年级... 小小动物园作文300字四年级 篇一小小动物园我家附近有一家小小的动物园,里面有许多可爱的动物。每当我...
四年级下册历险记作文【优选6... 四年级下册历险记作文 篇一第一篇内容我和小伙伴们的探险之旅上个周末,我和几个好朋友一起去探险。我们计...
我的偶像小学四年级作文350... 我的偶像小学四年级作文350字 篇一我的偶像我有一个偶像,他就是我的爸爸。爸爸是一个非常了不起的人,...
我想当科学家四年级作文【经典... 我想当科学家四年级作文 篇一我想当科学家科学家,是我心中最崇拜的职业之一。我一直都梦想着有一天能够成...
我的奇思妙想四年级作文(推荐... 我不确定您是需要两篇不同的文章,还是希望我为您写作两篇不同的文章。因此,我将为您提供两篇不同的作文。...
老师不在家四年级作文(推荐6... 老师不在家四年级作文 篇一老师不在家今天是星期一,我们四年级的同学们都非常兴奋,因为我们得知了一个令...