玩转“可视化ETL”,这个BI工具有能力!
admin
2021-01-15 09:01:47
0

看看一个ETL工程师的吐槽:

ETL工程师 : 我是食物链最底层的苦逼ETL工程师,我会写shell、我会搭hadoop/hive/hbase、会写超复杂逻辑的sql,今天那个不会自己计算数据的BI又让我跑几个数据,我本想让她提需求流程的,但她说这是老板要的(运营惯用的杀手锏!!!),要加急处理,我只能放下手头的活儿给她跑数据了,花了半个小时把数据跑好给她,希望能就这么交差吧。

如果你以为我每天就做这点事那你就错了,我平时的工作可不仅仅就是完成上面交给我的任务哦,我还负责数据ETL过程、数据建模、定时任务的分配、甚至有时Hadoop集群的维护等等都得我去做,每件事单独拿出来都可以拿出来写本书。就拿ETL过程来说吧,你要把原始数据从各种数据库、各种服务器的不同业务日志归一化到同一类格式,要约定好分隔符,然后导入到分布式文件系统HDFS,甚至你还要和业务系统定义数据格式出规范,数据收集完,你还得出中间表,数据过滤,格式统一,ID统一,维度统一,通过不同的数据现象进行数据,完了,你就得出一些日报周报之类的数据了,这时候你要按照需求把数据组织成一定的格式然后导Mysql、或者HBASE等等。总之你就是需要把数据各种收集、各种处理、然后各种导入导出,是不是很有意思?

说到ETL,我们可以先来了解一下,什么是ETL,百度百科给出的答案是这个:ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。

ETL是BI项目中重要的一个环节,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据模型,将数据加载到数据仓库中去,为后续的数据分析提供数据支撑。

市面上最常用的是BI+ETL工具,这样就会造成成本高、花费时间长,亿信华辰ABI就自带ETL,省时省力。包含完整抽取、转换、加载过程,通过简单的拖拽就可以轻松完成ETL过程。

玩转“可视化ETL”,这个BI工具有能力!

场景应用

1 通过数据清洗加工获取目标数据

场景说明:需要根据已知的基础工资和奖金数据,导出实际工资数据。

步骤一:抽取

拖拽表输入组件到设计面板,从SCOTT数据库抽取EMP表.并可以预览数据

玩转“可视化ETL”,这个BI工具有能力!

步骤二:转换

相关内容