如果你也想做实时数仓
admin
2021-01-11 02:53:53
0

数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务,数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。

1. 数据仓库简介

数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。

数据仓库是伴随着企业信息化发展起来的,在企业信息化的过程中,随着信息化工具的升级和新工具的应用,数据量变的越来越大,数据格式越来越多,决策要求越来越苛刻,数据仓库技术也在不停的发展。

数据仓库的趋势:

实时数据仓库以满足实时化&自动化决策需求;

大数据&数据湖以支持大量&复杂数据类型(文本、图像、视频、音频);

如果你也想做实时数仓

2. 数据仓库的发展

数据仓库有两个环节:数据仓库的构建与数据仓库的应用。

早期数据仓库构建主要指的是把企业的业务数据库如 ERP、CRM、SCM 等数据按照决策分析的要求建模并汇总到数据仓库引擎中,其应用以报表为主,目的是支持管理层和业务人员决策(中长期策略型决策)。

随着业务和环境的发展,这两方面都在发生着剧烈变化。

随着IT技术走向互联网、移动化,数据源变得越来越丰富,在原来业务数据库的基础上出现了非结构化数据,比如网站 log,IoT 设备数据,APP 埋点数据等,这些数据量比以往结构化的数据大了几个量级,对 ETL 过程、存储都提出了更高的要求;

互联网的在线特性也将业务需求推向了实时化,随时根据当前客户行为而调整策略变得越来越常见,比如大促过程中库存管理,运营管理等(即既有中远期策略型,也有短期操作型);同时公司业务互联网化之后导致同时服务的客户剧增,有些情况人工难以完全处理,这就需要机器自动决策。比如欺诈检测和用户审核。

如果你也想做实时数仓

总结来看,对数据仓库的需求可以抽象成两方面:实时产生结果、处理和保存大量异构数据。

注:这里不讨论数据湖技术。

3. 数据仓库建设方法论 3.1 面向主题

从公司业务出发,是分析的宏观领域,比如供应商主题、商品主题、客户主题和仓库主题

3.2 为多维数据分析服务

数据报表;数据立方体,上卷、下钻、切片、旋转等分析功能。

3.3 反范式数据模型

以事实表和维度表组成的星型数据模型

如果你也想做实时数仓

图片来自 51 CTO

相关内容

热门资讯

曲终人散歌词 曲终人散歌词  曲终人散演唱歌手是张宇,大家不妨来看看小编推送的曲终人散歌词,希望给大家带来帮助! ...
幸福的优秀作文 有关幸福的优秀作文5篇  在学习、工作、生活中,大家都写过作文,肯定对各类作文都很熟悉吧,根据写作命...
开在秋天里的花朵作文 开在秋天里的花朵作文  看着秋天里盛开的花朵,我感觉自己都心花怒放了。今天小编就来分享开在秋天里的花...
《别爱我像爱个朋友》歌词 《别爱我像爱个朋友》歌词  别爱我像爱个朋友 + 解脱 - 周笔畅  词:娃娃  曲:陶喆  编曲:...
快乐的家庭作文 快乐的家庭作文四篇  在平时的学习、工作或生活中,许多人都写过作文吧,作文根据体裁的不同可以分为记叙...
做自己作文 【精选】做自己作文(通用53篇)  无论是身处学校还是步入社会,大家对作文都不陌生吧,作文一定要做到...
写我的老师小学作文200字 写我的老师小学作文200字  老师是大家在幼年时代不可缺少的一位“亲人”。下面我们来看看写我的老师小...
社会大课堂作文600字 有关社会大课堂作文600字(通用28篇)  在生活、工作和学习中,大家都经常看到作文的身影吧,作文根...
我的梦想作文800字 关于我的梦想作文800字(通用36篇)  在日常生活或是工作学习中,大家对作文都不陌生吧,作文是人们...
我和春天有个约会歌词 我和春天有个约会歌词  《我和春天有个约会》是由南山天音公司于2013年05月发行的一首流行歌曲,由...