数仓

不断的学习和困惑

Posted by sven on May 19, 2019

现在的工作内容,已经由服务端转换为了数据分析产品,对我来说,挑战很大,原有的知识体系需要进行完全的更新,而不是简单的在原有基础上加深和加固。但这个新的选择,是一件好的事情,现在互联网界都在向AI和大数据不断的倾斜资源,大数据目前对我来说是一个不错的入口和选择

数仓的困惑

数仓的内容,目前大都是雪花、星型的数仓模型,大部分的例子都是电商系统,维度相对比较清晰,尤其是国内阿里的大范围应用和推广,基本上查不到别的案例了。

而在实际的工作中,和电商系统的数仓模型差异较大,生搬硬套实在是不行,故公司的数仓建设实在让人汗颜,基本上就是简单的ODS后,抽象了下DWD,数据产品都是从DWD层获取数据,也没有其他清晰的层次概念,每次开发新的数据指标时,感觉都是烟囱式开发,所有的表从需要再建立,大量的重复重复

想进行更好的优化,但找不到方向,也不知道其他公司有什么先进的经验。近期想找一些做的资深的,其他公司的一些人进行咨询,效果如何还未知,交流一下还是好的

阿里在输出自己的数据演进时,写了一些书籍,抽象了OneData、OneService的概念,但书上写出的略少,并没有完全的将一些细节展现出来,和其他同事交流,实际内部也存在边界不清晰,大量的重复开发情况。数仓也是一个不断演进和发展的

分析工具

今年公司需要补齐数据上的短板,不断的调整DS、DE、DA的一些部门关系,试图理清楚,人可能还好里一些,因为工作职责相对确定,但数据分析产品的边界却没有那么清晰,尤其是在一些混乱的规划下,一个图例将本清晰的事物描述的云里雾里,似乎不复杂就不能表现出自己的能力

诚然,在做事情前需要有个明确和清晰的规划,需要想清楚,但有的时候站的不够高也基本上不会去想那些事情,国内还是屁股决定脑袋的氛围,还是想多思考一些,找一些人来进行访谈吧

数学

继续不断的去看,啃这块最难啃的骨头