如果你也想做实时数仓
admin
2021-01-11 02:53:53
0

数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务,数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。

1. 数据仓库简介

数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。

数据仓库是伴随着企业信息化发展起来的,在企业信息化的过程中,随着信息化工具的升级和新工具的应用,数据量变的越来越大,数据格式越来越多,决策要求越来越苛刻,数据仓库技术也在不停的发展。

数据仓库的趋势:

实时数据仓库以满足实时化&自动化决策需求;

大数据&数据湖以支持大量&复杂数据类型(文本、图像、视频、音频);

如果你也想做实时数仓

2. 数据仓库的发展

数据仓库有两个环节:数据仓库的构建与数据仓库的应用。

早期数据仓库构建主要指的是把企业的业务数据库如 ERP、CRM、SCM 等数据按照决策分析的要求建模并汇总到数据仓库引擎中,其应用以报表为主,目的是支持管理层和业务人员决策(中长期策略型决策)。

随着业务和环境的发展,这两方面都在发生着剧烈变化。

随着IT技术走向互联网、移动化,数据源变得越来越丰富,在原来业务数据库的基础上出现了非结构化数据,比如网站 log,IoT 设备数据,APP 埋点数据等,这些数据量比以往结构化的数据大了几个量级,对 ETL 过程、存储都提出了更高的要求;

互联网的在线特性也将业务需求推向了实时化,随时根据当前客户行为而调整策略变得越来越常见,比如大促过程中库存管理,运营管理等(即既有中远期策略型,也有短期操作型);同时公司业务互联网化之后导致同时服务的客户剧增,有些情况人工难以完全处理,这就需要机器自动决策。比如欺诈检测和用户审核。

如果你也想做实时数仓

总结来看,对数据仓库的需求可以抽象成两方面:实时产生结果、处理和保存大量异构数据。

注:这里不讨论数据湖技术。

3. 数据仓库建设方法论 3.1 面向主题

从公司业务出发,是分析的宏观领域,比如供应商主题、商品主题、客户主题和仓库主题

3.2 为多维数据分析服务

数据报表;数据立方体,上卷、下钻、切片、旋转等分析功能。

3.3 反范式数据模型

以事实表和维度表组成的星型数据模型

如果你也想做实时数仓

图片来自 51 CTO

相关内容

热门资讯

观影片《ELKLE》有感作文 观影片《ELKLE》有感作文观影片《elkle》有感今天,老师带我们去青少年活动中心,观看外国影片《...
《一只想飞的猫》读后感 -小...   【篇一:《一只想飞的猫》读后感】    这是一篇有趣离奇的童话故事,《一只想飞的猫》读后感。本文...
《会唱歌的猫》读后感 《会唱歌的猫》读后感五篇  在书店里看到一本书——《笑猫日记——会唱歌的猫》,便好奇地买下了它。读一...
《 拆掉思维里的墙》读后感一 《 拆掉思维里的墙》读后感(一)(文章中,有我对亲人的误解和对爱的渴望,这是真实的成长足迹) 收到...
红楼梦读后感1000字高中作...   红楼梦是一本家喻户晓的文学名著,无数人被其中的精彩故事吸引着,下面unjs小编跟大家分享几篇红楼...
生命中不能承受之轻读后感 生命中不能承受之轻读后感  当认真看完一本名著后,相信大家一定领会了不少东西,何不写一篇读后感记录下...
看一本书的读后感 看一本书的读后感(精选57篇)  读完某一作品后,相信大家都有很多值得分享的东西,为此需要认真地写一...
在牛博国际的博客读后感 在牛博国际的博客读后感  当认真看完一本名著后,大家心中一定是萌生了不少心得,需要好好地就所收获的东...
读《江姐》有感作文 读《江姐》有感作文江姐,放下自己的家庭,一心为共产党工作,她,对党一心一意,毫无怨言,但是,面对可恨...
《南渡北归》的读后感 《南渡北归》的读后感(精选8篇)  当看完一本著作后,大家一定对生活有了新的感悟和看法,是时候写一篇...