系统的学习Data & Analytics

hxsh2000

yzh1999 发表于 2021-11-13 22:27
你们用什么架构做的SAP到Azure?

构架？是指哪一方面的？

我直接让组里的Data Engineer去lead整个过程。中间涉及到SAP是一家咨询公司负责，然后协调IT data platform做Azure的对接，接着pipeline and transformation是另一家咨询公司负责。

hxsh2000

Chief Data Officer或者数据分析的大头，是新进几年才有的头衔和新部门。由于这一方面打破了传统的属于数据库和分析领域属于IT，甚至只是Infrastructures的一部分，或者不同部门中的BI分部，所以这个新部门的领导者，往往没有固定的职业来源。而由于不同的职业和来源，又使得现在市场上的数据分析部门的责任定位和scope非常的多样性，因为不同的人和职业，对于熟悉的领域，总是会有更多的强调和关注，而对于不熟悉的领域，很难在资源或预算有限的情况下，得到发展。

战略和分析部门
财务和商业部门
业务部门
原本某个业务部门中BI部门的头
IT部门

等有时间了再来分析一下这些职业来源的关注点，还有优势劣势。

hxsh2000

为什么不停的在说要顶住，保持好关注和学习，并且维持好自己在这次上升期的热情，以期待能更上一步呢？还是有历史原因的，也许就是性格使然吧，谓之“命运的螺旋”

前面说的，从高一开始的择校区重点，到重点大学大一的第一名，四年多的时间取得。而在第一名了之后，循着师兄们的脚步和节奏，立志在大学期间考托福和GRE，然后拿全奖或者半奖去加州伯克利分校读书。然而事实却是，那不是继续向上的前哨站，而是转折点。之后就旷课打游戏游山玩水等等

过了四年左右的时间吧，来澳洲留学，第一学期几乎没怎么学习就拿了一个HD，三个D。觉得太容易了，要来点更有挑战的，就去报读了个master by research。而由于by research时间凑不够移民，又多花了一年多的时间把by coursework读完，期间和室友打游戏，喝酒等等。

又过了三年，毕业后从一个中小公司的SAP Business Analyst，花了五年时间做到了澳洲最受欢迎的公司的Lead职位。然而又找不到明确和务实的目标，于是之后就到处玩。之后换城市，只能从头来过

这次呢，从一个十几个人的小公司，又花了五年的时间，到了能源业里喜欢的职位，很好的收入。然而这个过程实在艰辛，加之在心底，已经有了很好的满足感，心底里是一直喊着要好好休息，settle down的。可根据以前的过程，如果停下脚步，以我自己的德行，肯定又不知道关注什么其他事情，要维持住这个momentum太难太难。

所以维持这个帖子的本身，也是我自己维持住这一个阶段经历的一部分。已经明显的感觉到学习动力和节奏的放慢，关注点也越来越虚了，而这恰恰是我自己每个转折点出现时，都会提前或者伴随着发生的事情。警醒！

运筹小子

hxsh2000 发表于 2021-11-13 22:03
对于实施整个大的战略（data and analytics strategy）或者执行来说，由于一切是build from scratch，是需 ...

楼主可以分享一下建立新的data model的经验吗？谢谢啦

hxsh2000

运筹小子 发表于 2021-11-14 23:23
楼主可以分享一下建立新的data model的经验吗？谢谢啦

建立data model的过程，核心就是设计数据库fact table & dimension table的过程了，建立数据表之间的连接又能尽量减少整个数据库的大小，也是normalisation的过程。

在大数据时代，对于那些大的科技公司，例如Netflix, Facebook之类的，为了提高数据处理速度和查询速度，有时候又刻意的降低normalisation而使用固定的表并且达到一定的redundancy。

Data modeling best practices - Part 1 - in Power BI and Analysis Services：https://www.youtube.com/watch?v=kiVXI7zjSzY
Data Modeling 101：http://www.agiledata.org/essays/dataModeling101.html
Database normalization：https://en.wikipedia.org/wiki/Database_normalization

运筹小子

hxsh2000 发表于 2021-11-16 22:54
建立data model的过程，核心就是设计数据库fact table & dimension table的过程了，建立数据表之间的连接 ...

我的分数不够。太谢谢楼主的分享啦。马上学起来

hxsh2000

近一个月来，去年原本做的数据分析的战略和实施目标，得重新review，然后做出更加有进取的战略。而我上周刚刚在和最大的老板做自我介绍的时候，不停的强调我加入公司的目标，就是在经历了很多个行业里面的大公司的best practice后，得到的经验和lesson learned，打算来现在的公司从头做end to end implementation。期间不停的强调best practice之类的词。

这么下来后，下周一先做一个小范围的best practice presentation。打算周末有空的时候，把我这个系列里的核心思想，通过故事展现出来。还在考虑如何更好的呈现这些，讲好故事！

几个核心：
* 讲讲数据和分析的历史发展，一直以来的挑战和机遇，如何发展到最新的data lake，然后引出数据分析的核心，标准化和统一化
* 标准化和统一化：data platform, data source and data asset, reporting and KPI standardisation, polished visualisation and presentation
* 然后讲解上面四项的内容，为什么需要这四项，要实施上面思想需要关注什么，需要的skillset和实施的重要性和难度
* 接着引申和联系上面的四个项目，和现今整个数据分析部门不同背景的大老板，关注的和实施的方式，以及各自的强项和弱项，会如何影响到最后的成果
* 给出战略就是：既要花费巨大人力物力做好foundation: data platform / data source & data assets （传统数据分析结合云计算，technical approach），又需要reporting and KPIs, visualisation standardisation （数据方向里面的业务部门，business approach），这也就是数据分析部门能够独立于传统业务和技术之外的原因。要做好，那么需要两个方面都做好。

虽然即使做了这块，也不太可能得到机会给最大的老板做presentation，但也算参与进来的第一步。而且我还是比较自信的认为，足够高的职位的话，会对我说的这一套买账的。

Bessy

最新的不是Data lake， data lake是10年前的概念。新的架构是 data lakehouse.

hxsh2000

Bessy 发表于 2021-11-18 21:45
最新的不是Data lake， data lake是10年前的概念。新的架构是 data lakehouse.

原来真的有data lakehouse这个词啊。刚上线的Azure，组里资深的data engineer发邮件给我并很有成就感的给了个架构图，就是data warehouse+data lake=data lakehouse，本想找时间看看有什么不同，为什么叫这个名字，却太忙了没时间看，我还以为就是比较fancy的词呢。

能介绍介绍有啥fundamentals上的不同吗，IT方面的话，看到这种重组的新词，一直没get the point。

Bessy

hxsh2000 发表于 2021-11-18 22:27
原来真的有data lakehouse这个词啊。刚上线的Azure，组里资深的data engineer发邮件给我并很有成就感的给 ...

google 一下就很好，网上很多解释的文章，写的都很好。

或者找你们公司的  head/lead of data 或 data architect做个快速扫盲。 因为这对他们来说是最基础的东西了。

Chimpanzee

谢谢分享

hxsh2000

Bessy 发表于 2021-11-18 22:43
google 一下就很好，网上很多解释的文章，写的都很好。

或者找你们公司的  head/lead of data 或 data a ...

这种答复就算了，我也知道这么做。

我这篇文章的目标的大家愿意share的一起分享，如果都来google一下就很好，那几乎所有的这些都这句话就行

Bessy

hxsh2000 发表于 2021-11-19 07:03
这种答复就算了，我也知道这么做。

我这篇文章的目标的大家愿意share的一起分享，如果都来google一下就 ...

误会了。不是不分享，只是不够精通。不想误导别人。看你要做presentation。也许你们公司有精通数据方面的人才。善意的提醒一下。

看lz上几个关于data modelling的回复. 就知道lz没有这方面经验。但可以把提问的人唬住。也是一种技能（没贬义）。华人需要你这样的人才。

hxsh2000

Bessy 发表于 2021-11-19 08:42
误会了。不是不分享，只是不够精通。不想误导别人。看你要做presentation。也许你们公司有精通数据方面的 ...

这个就是我们不同的地方啊，我几乎不需要在这个方面体现出足够的技术实力，我有兴趣的就是能够理解高层的意愿，确定他们的意图然后协调或者争取足够的资源来实施就可以了。就像前面说的我组里的资深data engineer，我就对他说这块平台的上线，什么时候需要导入哪些数据，解决技术问题，他负责就可以了，需要支持我可以协调找顾问，我有兴趣知道的就是，如果没办法按时完成，及时告诉我，我好去协调或者让大家知道。

还有，我回去看了一下那封邮件，Lakehouse这个概念还有整个构架，我是第一次听到。可这个概念，对我来说，就是相当于原来我说的data lake的整个理念而已，比较像IT一直以来不停的使用比较Fancy的新词。

另外我说的那个data modelling的例子，是刚刚顾问公司present的做数据的流程和好处，没觉得有什么问题。你的方法也许不同，但在技术取向和很多方面，方式方法非常多。我对于技术的看法，一直是工具和阶梯而已，以此实现business value and strategy，并不沉迷其中。

hxsh2000

下周一的presentation，既要在新的大老板面前争取表现以取得在新的制定和执行数据分析战略过程中的一席之地；又得照顾到现在老板原本确定的战略意图不受太大的挑战，当中的取舍和取向实在是不容易啊。

个性如此，也没有办法。自己要的和现在关注的东西，是想方设法要表现出来和得到的，也实在没办法韬光养晦，或者低调处事。

周末得好好想想，准备如何讲好故事了。也联系联系比较厉害的朋友，取取经哈！

运筹小子

Bessy 发表于 2021-11-19 08:42
误会了。不是不分享，只是不够精通。不想误导别人。看你要做presentation。也许你们公司有精通数据方面的 ...

层主方便的话，可不可以也分享一下data modeling 方面的经验或想法之类的？谢谢啦

运筹小子

hxsh2000 发表于 2021-11-19 22:32
这个就是我们不同的地方啊，我几乎不需要在这个方面体现出足够的技术实力，我有兴趣的就是能够理解高层的 ...

我特别佩服楼主处在一定高度的位置上，还愿意很耐心地分享你所知道的信息并且能吸引很多高手也来分享。特别积极的氛围，楼主加油，期待更多更新！

hxsh2000

在现有的架构中，从两个多月前进入现在的公司管reporting and analytics，我最希望知道的或者得到的答案是：我们数据分析团队在公司中的定位是什么，主要关注点以及我们要达到什么。这可能是我一直以来很习惯于高层打交道的一种思考方式，也是作为系统，数据以及财务和其他部门的大佬们打交道时，在第一次interview的时候我会问的前三个问题。可却除了读着各种road map和road show要取得什么，多长时间达到什么的实施外，找不到我想要的答案。

因为定位和要取得什么，能够决定做事情的方向和战略，决定了做事情的方向和战略后，才能够确定需要的人和road map，也才能够招到适合的人，确定培养的取向，接着慢慢的往最终的定位接近和达到最终的目标。

在确定这种战略的时候，之前的战略是Engineering背景的领导设立的，工程师更注重如何实现，于是做出的计划往往对于这些确定目标和制定方向，特别是和business value and strategy相关的领域，没办法多么的注重。而把关注的点放在了技术，以及如何实施技术的过程中去了。于是在原有计划里，更多的是提出现有的问题，然后通过几年，解决现有的问题。于是战略仅仅围绕着技术和解决问题的大方向来制定。

然而业务或者finance/commercial却不是这么思考问题的，制定战略是要为更大的business strategy来服务，先要确定整个公司的大方向和战略，然后渐渐分出每个部门的mandate，于是乎，每个部门和每个组在这个大方向和战略中，都会有着自己的定位和存在的意义。有些部门和团队，是新进的，战略倾向明显的部门，那么自然而然的会取得更多的资源，而数据分析部门，特别是数据科学和建模分析成功，以及机器学习，可以说是现有体系下，花费较少，看起来能够做出非常好的成功的方面。而且由于这块的概念太流行，以至于每个在这个方向加大投资的公司，都被视为大领导积极进取，也可以在媒体或者行业里成为领头羊和成功典范，为公司增加价值。

所以周一的presentation，就以抛出这三个问题为开始，来打开可能讨论的空间和机会吧。然后再慢慢的展开对于选择的不同，各种的可能性和倾向性的取舍。

去年十一月二十三号进入数据分析行业，开始接触AWS，Azure这些平台，并且进入到整个公司整合数据和分析的领域，到下周一的十一月二十二号，刚好一年。周一的presentation也算是我一年来所有学到的，经历的，体会的，领悟的，整个的大考吧，希望能做好得到更好的机会，在这次重新制定数据分析战略的整个过程中，找到比较重度参与甚至领导这个过程的机会吧，祝自己好运了！

hxsh2000

去年十一月二十三号进入数据分析行业，开始接触AWS，Azure这些平台，并且进入到整个公司整合数据和分析的领域，到下周一的十一月二十二号，刚好一年。周一的presentation也算是我一年来所有学到的，经历的，体会的，领悟的，整个的大考吧，希望能做好得到更好的机会，在这次重新制定数据分析战略的整个过程中，找到比较重度参与甚至领导这个过程的机会吧，祝自己好运了！

hxsh2000

Data Strategy Service: https://www.pwc.com/hu/en/szolga ... /data_strategy.html

The process to create the data strategy:
Define your strategic data needs
Source and collect data
Turn data into business value
Create technology and data infrastructure
Build data competencies in your organisation
Data governance
Execute and revisit your data strategy

两年前，公司应该是已经走过了这个life cycle的了，也应该有很好的咨询公司提供了咨询才能达到现在的执行。当时应该是scope做的比较conservative，所以现在的data strategy比较保守，所以取向和想达到的不太一样

hxsh2000

找了朋友帮忙，聊了一段时间。感觉这么着急的想去做更战略性的事情，有点展现了自己内心对于细节类和技术类的缺乏信心，于是急冲冲的想快点回到自己最熟悉的领域和避免陷进展示弱项的scenario。

还是得好好的补足不足，挑战自己的短板。这次就以更加合作的方式成为其中的一部分吧.

Patient

hxsh2000

新人新气象，新想法。

好处是找到最顶级的三个咨询之一的公司，一起设定新战略。2015年和其中一个合作过，2018又和另一个合作过，这次是其中的最后一个了。算凑齐了

坏处也许更大，也就是如果我们这条线在新的大战略中，占不到位置，也许整条线都可能被撸了。毕竟原有的战略就是这个部门制定的，新的来了，原有的怎么办呢？

Pippa

那就要问你能为公司带来什么价值了。数据分析就是公司决策的一个工具，对公司来说他只想知道你能做什么，能不能做到他想要你做的那些，你还是否能提供他想不到的那些。

hxsh2000

Pippa 发表于 2021-11-25 16:10
那就要问你能为公司带来什么价值了。数据分析就是公司决策的一个工具，对公司来说他只想知道你能做什么，能 ...

这些价值都是建立在是不是在新的战略和方向上，又是不是新的管理层喜欢的类型和取向，而这些都距确定太过于遥远。

现在咨询才刚刚开始，战略和方向还不确定，下一层的GM未来人选还没定，空降过来的人有没有可能接受已在里面制定和执行原有的人，都说不定。

这种大的调整面前，没人能够知道自己是否适合或者刚好合拍，也都是无力的，只能一边抓着宝贵的机会积累和好的咨询公司做数据分析战略制定项目的经验，另一边我也刚进去三个多月，并没有太大的commitment，同时也找找plan B了。

hxsh2000

实际上从十月底，从其他部门空降了新的CXO后，战略和团队就一直处于不确定中。这个过程中不停的在做着presentation，然后确定了一小阵子后，又继续改动。越来越清晰的是，以前建立起来的那一套，能够被继续贯彻和执行的可能性已经不大。其中重要的基础standardisation of data platform, data assets这两部分，可能不会被坚持，而这恰恰是我认为的，很多IT & Data投入非常多的资源实施以达成single source of truth的目标。

上边暂时打算让我负责整块data architect & data engineering，把原本我最擅长和喜欢做的data analyst方向的分开。又加上如果不以标准化数据平台和data assets这两方面为目标，有点和我以前习惯的和坚持的方向相悖了。加上从很久前的工作中，就确定自己不擅长也不太喜欢太技术性的，特别是对技术细节的兴趣和掌握。

现在还处于试用期，一切变化太快，而任何新的变化和调整，对于还处在试用期间的我来说，风险挺大。又不得不找工作了，看来我从一六年以来的这段时期，还是没办法很快的找到个地儿好好的settle down了。好事是每个时期多能经历新的战略和执行策略丰富经验和见识，坏处是不停的换工作以及这个过程中的折腾，非常累，外加新到了一个工作后，也无法建立起一套长时间commit的思维方式。

yzh1999

为什么standardisation不再坚持，是成本还是政治

hxsh2000

做技术的挑战和风险，是已熟悉和熟练掌握的技术，逐渐被淘汰
做管理的挑战和风险，是已建立起来的关系和靠山，逐渐被边缘化

各有各的风险，各有各的机遇和挑战。机遇，挑战和风险同时出现，才构成了各种不同选择本身的不确定性和魅力！也因为不同人的个性，成长背景，取舍的优先性，决定着不同选择的根本以及结果。

hxsh2000

yzh1999 发表于 2021-11-27 22:52
为什么standardisation不再坚持，是成本还是政治

觉得投入太多，可产出不够明显和直接，特别是prioritisation很难把这块放在优先级别上。

如果不是IT或者技术背景的，对于为什么要投入这么多做这块，很难理解和做出可执行的business case。之前就有说到在业务部门或者商业部门，如果不搭上IT做这块，是没办法竞争到足够资源做这么long term的投入。

hxsh2000

以前学习和准备考试的时候，每次考试前的一两天，都接近通宵的突击复习，涉险过关。而在每次的考试后，都会出现之前短时间内过于专注，而导致精力消耗过多，需要连续两三天的好好休息才能缓过来。

这次感觉就是这样，前面三个多月，既花了非常多的精力适应新的环境和人，招聘和培训新人，还加班加点做了很多额外的事情，比如那些合规类的报表。因为这些都是我想发展的方向，也是自己所喜欢的，甚至额外还继续学习新的知识。然而这次改了我做的东西的方向和可能的职位调整，以及所带来的不确定性，却马上给与了我很大的打击。感觉之前所有的commitment瞬间消失了似的，热情也没办法维持了。而热情一旦不在了，没有了过度积极的情绪和自我暗示来冲淡这个过程中积累的疲累，那么那些过度消耗的身体和精力就会显示需要好好的休息和调整了。

hxsh2000

今天和原来的一位直属经理约了喝下午茶，这位直属经理，十几年前在政府部门做到过CIO，向她请教请教。

期间聊到一些话题颇有同感，在管理职位上，除了不停的开着各种会和处理各种人事的事情外，往往不得不做出一些不得不做的事，说着一些不得不说的话。在做决定的时候，是知道这些决定会有多大的影响，和需要取得的目标的。然而一旦在决定的会议上答应了，那么下来了以后，也只能一步一步的执行。

就比如我最近招进来的或者已经在我组里的，甚至还有未入职的，虽然知道会有很大的影响，却也不得不在新的战略和规划明朗之前，把这些东西都放在心里，继续着流程，该干嘛干嘛。