系统的学习Data & Analytics

hxsh2000

其实现在的FAANG，从公司的管理层关注的资本管理和增值变现，收购新公司补足产品线进行更好的整合和垄断，还有在垄断后在不必要的时候只维持产品的更新的小改进；而从公司的员工，也更多的只关注如何进入到这些公司中，得到更好的福利和薪资，从股票增值所得来的收益，享受公司的名气以及积累经验。这些已经远离了当年这些公司初创时的热情和梦想，还有主旨。随着这些公司越来越机构化和资本管理话，剩下来的也就是和以前的那些“勇者屠了恶龙，而后成为了恶龙”的故事，等待着下一场变革来临时，被新的勇者们赶下神坛，或者舞台，当年的IBM如是，诺基亚如是，这次呢，会是里面的哪一个或者哪几个公司会退出舞台呢？

历史总是惊人的相似，也在无限的循环。然而生处其中的人们，总会认为这次是与众不同，这次有……等原因，这次自己可以做得更好以避开这种宿命。然而当一切发生时，其实只是又一次循环。也因为有了这些循环，在科技行业，才有了之前以及之后，更多的那么多在车库里创业成功，带着年轻人与生俱来的梦想和热情，以突破想象力且愿意为之实现付出巨大的努力的人们。这些人并不那么关心资本增值，也并不那么关心薪资和股票表现。

所以说，那些现有的公司，已经老了，从管理层到员工。也正如我们自己，已经经历过一次甚至两次科技革命一样，能够跟上或者维持现有的理解已经很难，突破不了之前的经验和现有框架的束缚，已经突破不了想象力的极限，并且如新生代般拥有无限的可能。这也是我在这篇文章里反复写的，跟得上一代得技术得革新，我们也还年轻；跟得上之后一代得技术革新，我们已经有些吃力但可凭借经验勉强追上；可再之后得一代呢，其实已经无能为力了，不止心态，还有想象力，还有接受新的事物得能力，说到底，就是老了，太多得打上了已有的认知和框架的烙印，也受到了相应的体系的束缚。

hxsh2000

所以之前也一直强调说，IT是青春饭，高工资也只是来源于整个职业生涯的不确定性。在career lifecycle里面，处于职业生涯前期时，能够快速的得到非常好的回报，因为新技术的出现，使得掌握新技术的人员异常紧缺，年轻人快速的学习能力和接受新技术以及理念的能力，都在不停的强化这些价值。然而IT从现有的来说，在新技术领域，几乎没有职业晚期可言，有也是那些传统的技术和系统，在过了高峰后没有了新人们的进入，老人们在不再是闪光点的区域，继续耕作，等待哪一天这些技术在真正的被淘汰后，结束职业生涯。

我还记得在12年开始去矿业公司，当时边远矿区的房子租金回报率异常的高，能够高达15%，也就是说如果买房在矿区，六到七年就可以回本，并且当年由于矿业火热，矿区的房子供不应求，很多矿业公司都是直接一签就是一年以上的租赁合约。然而这些高价，都是有其背后的因素和因果的，在矿价大跌时，矿区的房子的价格也随着大跌，当时我们公司不得不关闭北面的一个矿后，所在矿区的人口减少了40%，而房价跌了80%。这些就是在透明的市场中，市场价格的来源，高有高的原因，也肯定有其相应的风险。

为什么说这些呢，其实是感觉很多人们看到IT在peak阶段的收入和回报，没有看到其中的风险，就把职业转向这个职业生涯，觉得这种高回报和薪资，是可以持续的。其实这其中有其很大的风险的，经历过.com泡沫破裂的人们，可以理解其中的稳定性是有很大的问题的。

hxsh2000

继续胡混着，早上送娃儿上学，下午接娃儿下课然后兴趣班，游游泳，晚上看看视频。这种生活过的越来越习惯，完全没有了任何的工作状态。

这几天不少中介直接发工作机会过来的，也没有非常中意的。还是自己现在不清楚要做什么，没有明确的目标，corporate systems manager觉得太偏IT；SAP Project Manager是咨询公司的，觉得参与性有点弱；Data and Analytics Manager又非常偏技术类，要么非常偏Business的Reporting and Insights Manager很多又要有Hand-on的要求。反正哪个都觉得不是特别适合，或者特别有愿望去做的。

hxsh2000

最近几天在看之前没时间跟的，2018年时期Financial Services Royal Commission，金融皇家委员会的开庭视频。里面的阐述角度，用词，以及大律师们的表现，都非常有意思。

dondon

hxsh2000 发表于 2022-5-20 15:08
继续胡混着，早上送娃儿上学，下午接娃儿下课然后兴趣班，游游泳，晚上看看视频。这种生活过的越来越习惯， ...

这帖子看到2/3， 感觉收获非常大。感谢楼主。

1. 我很同意，DA也好，BA也好，这几年是新东西，比较热，收入也好。但是过些年会回落的。IT技术都是这个发展趋势。大概是因为我有计算机背景+实际开发经验的缘故，我觉得Power BI还是非常简单的，我没读任何课程，就是网上Google一下，看了一下desktop的手册，2，3天的功夫就做出了KPI报表。 我花了2个月，把部门所有不同data souce都集合到Power BI online service。我们部门领导惊为天人，因为会做这个的太少了。外面请一个Power BI工，基本要10几万的。DAX函数，Python编程都是高级语言，以后会慢慢普及的， 中学生，大学生都会受到相关训练。所以这个行业的pay会慢慢回落的。Power BI做报表最重要的部分是data modling，而这部分其实是可以外包的。我相信其他分析性工具，也有同样功能。

2. 技术发展，行政管理也要跟的上。现在很多中型型企业，收数据难分析数据难，其实是个issue。很多单位现在都设business team，以后数据分析这块，会划到business team的。我们单位目前就在做这样的改革。

3. 各种tool也罢，编程语言也罢。其实data后面的灵魂是对业务的了解+强大的数学知识 + 好的逻辑思维。

4. 楼主应该是乙方给甲方做项目，pay真心好。精力充沛，爱学习。。羡慕哈。我要是年轻15岁，也会挑战一下。

hxsh2000

DAMA-DMBOK的培训课程开始上了，DAMA这块，简直就是data and analytics的圣经，包含了所有的数据策略，架构，建模，开发的相关内容。从最开始讲解建立起整个enterprise data office / team / strategy / architecture的一切

内容：
Data Governance
Data Architecture
Data Modelling and Design
Data Storage and Operations
Data Security
Data Integration and Interoperability
Document and Content Management
Reference and Master Data
Data Warehousing and Business Intelligence
Metadata Management
Data Quality
Big Data and Data Science
Data Management Maturity Assessment
Data Management Organisation and Role Expectations

fuyingjia

请问大侠们 我一直做的公司财务会计这块，没有IT基础，是否可以学数据分析然后为以后转行？

hxsh2000

hxsh2000 发表于 2022-5-11 11:33
当市场上的资金泛滥并且资金成本非常低的时候，投资的需求会达到非常高，使得投资标的变得异常的少并且稀缺 ...

三月份的时候，也许还有不少人会来质疑这些观点。五周前，也许会有人们来讨论这些观点如何。到了现在，也许大家慢慢的会开始正视这些了吧。如之前和一位朋友说的，美联储的德行，随时可能改变策略和底线，可在彻底的改变之前，这个趋势还是很明显的。

“
当市场上的资金泛滥并且资金成本非常低的时候，投资的需求会达到非常高，使得投资标的变得异常的少并且稀缺。于是价格越来越高，然后这些投资标的拿到了更多的资金，进行其他标的的收购和买入，在这些新的标的物涨价甚至上市后，又会进行进一步的对新标的的追逐。其实核心和重点，只是资金泛滥和资金成本低而已。

如2000年之前的.com，2008年之前的金砖四国，202?年之前的科技股和加密币等，都是市场需求标的时，各大投行炒热后创造出来的概念，让巨量的资金能够有去处，去追逐巨大的收益，而从中得益。

去年面试过一个科技公司的数据分析经理的职位，属于财务部门的，当时专门仔细的研究了一下公司的每年的财报。给我感觉最深的就是，公司里面的主要业务，注重的是市场占有率，可其实在抢夺市场占有率的时候，并没有提供多少的利润；而公司的升值和财报增值，几乎都来自于对其他科技公司的收购和投资的升值；并且这个公司还有一个很大的，专门从事于投资的团队，确切的说是非常核心的团队了，为公司物色更多的可以升值的投资标的。

于是在市场好的时候，一切都是正循环，抢夺更多的市场占有率，使得公司可以更多的融资和股票升值，接着以更低的成本或者升值了的股票方式，购买其他的科技公司，等待和实现升值，更加充实和美化财报。所以一旦市场不好，没办法继续这个循环的时候，一切就都可能是崩坏的开始。

很多科技公司的从业者，也是这个循环的受益者，身在其中不停的感受着这个正向的反馈，深信这个循环的可持续和必然性。于是在取得股票期权外，很多都有额外的投入资金到这个市场上，过去几年享受着这个循环的红利。然而这个循环，恰恰是非技术性因素的，也是时势使然的而已。在发生当中，每个人都会觉得是自己是特殊的，是有能力和天赋的，由此才可以取得这些成绩。然而我更相信“时势造英雄”，只是刚好赶上了，运气撞到了，于是才有了这些。身处风口，及时cash out，才可能更好的保住利润，在下一次来临时，有更好的位置和优势。而不是随着这个进程，完完整整的走过高峰和低谷，最后剩下了经历而已。

其实一切都是循环，正向的或者负向的，也就是古话说的“三十年河东，三十年河西”，每个行业都有其机会，只是有没有可能刚好撞上了而已。这个就是我的价值观，看问题的切入点和视角。
”

hxsh2000

完成了整个《DAMA-DMBOK》四个全天的培训课程，学到了非常多的东西。也把之前工作中和顾问公司交流的，应用到的，以及自己总结的，一起结合到了这个课程中的知识中来。很多原本用业务语言描述出来的数据分析的目标以及标准，在这个数据分析管理体系中，都找到了相应的章节，以及有了如何实现的步骤并且提供了热门的工具的选择。

依旧处于非工作状态中，工作时候的感觉，已经是非常遥远的事情了，都快想不起来工作时候到底都在干些什么才能弄得每天那么的忙。休息惯了，那种紧张的往上爬corporate ladder的惯性和意识，也几乎都失去了。现在的想法反而是找一个可以歇息个一两年的工作，不用那么忙，好好的混一段时间，顺便消化消化这两年来数据分析领域的经历。反正现时是，每过个一小段时间，就有一小点新的感触和想法，随时变

lotuss

厉害

sunjiayi

我一直觉得da甚至ds只是高级excel 操作员。
虽然有各种regression 甚至random forest之类的算法，但本质上还是一些统计层面的分析然后提交给各种CXO或则MD。
问题是报告这个东西不产生直接价值，更多的是作为决策支持的一部分 。
当然data engineer不一样，因为是要建模编程出活的，他们有直接的产出。所以不管是linkedin还是seek，需求量都是de比ds/da大许多。
我并没有贬低data analyst/scientist 的意思，我只是觉得他们没有直接的产出所以更多的价值需要体现在presentation这种事情上面。嘴炮能力高低很大程度上影响工资及岗位，而往往这不是英语非第一语言的华人擅长的。
如果 lz找到 相关工作能不能分享一下工资？

girl66

谢谢分享，好贴马克

hxsh2000

上周五面试了一个能源公司的职位，相当于我上一份工作入职时，数据分析方面落后一年半的时期，就是要求入职后要帮助整个部门甚至公司，建立起一整套data governance，还需要建立data architecture, data modelling等等，等等。不仅仅要选择好做data catalogue的应用和软件，还需要帮助核心的运营部门建立起规范化的数据模型。

面试过程中，把我真正的吓了一跳，这些要求在一个公司里面，可是需要data governance manager/lead, data architect, data modeller, data engineer, data analyst一起共同来做的。和之前三四月份的面试很像，觉得现在刚刚开始在建立公司层面的数据分析部门时，公司内部的期望值都很高，又没有意识到需要多少资源和技能才能够实施这些想要的。

hxsh2000

这么快就reference check了，一轮面试搞定。是我想要的行业，无盈利压力且垄断的行业，可以在经济下滑的时候作为做好的避风港；可以从无到有起草和设计整个centralised数据分析的章程，架构，监管，设计等的一切一切。

可也好像休息了好一阵子后，完全不在工作状态，又面试时感觉到公司对这个职位的期望值很高且非常全面，毕竟需要涉及到所有数据以及分析的方方面面，有点慌，毕竟这些不再仅仅是DA & DE等Data Operations的范畴，而是Data Governance, Data Architecture, Data Modelling等等的框架和策略等的建立。主要还是并不处于几个月前完全的积极的并且认为啥都可以做到的那种状态中，所以担心。

先走一步看一步，争取拿到Offer再说了

运筹小子

hxsh2000 发表于 2022-6-20 14:03
上周五面试了一个能源公司的职位，相当于我上一份工作入职时，数据分析方面落后一年半的时期，就是要求入职 ...

这新工作是要楼主具体实施data governance, data modelling and architecture 的活？还是指明方向然后有人实施？单是data modelling就涉及到很多细节的design，感觉不可能让一个人而且还是高层能全做的呀????

hxsh2000

运筹小子 发表于 2022-6-20 22:46
这新工作是要楼主具体实施data governance, data modelling and architecture 的活？还是指明方向然后有 ...

按我的理解，这个类型的职位，就是整个部门草创时的情景。啥都缺，暂时资源缺乏，也不确定到底最后要做多大，所以会慢慢建立起一个架构性的并且内部做business case争取高层拨款和支持。这类型的公司不差钱，重点是如何让非这个领域的高层接受以及有reasonable expectation

约了一个额外的catch up，互相多了解，看看沟通后有什么特殊的。

运筹小子

hxsh2000 发表于 2022-6-23 14:37
按我的理解，这个类型的职位，就是整个部门草创时的情景。啥都缺，暂时资源缺乏，也不确定到底最后要做多 ...

加油加油楼主去开拓新的江山还是更有意义和挑战价值

hxsh2000

谈好offer和未来公司的计划，和原本想的一样，一切从头开始。为未来的智能电网以及数字化，继续做一些微薄的贡献。

Offer也谈的不错，仅仅比上个公司的收入，少了5% bonus。能够做我喜欢的，更多的机会和高层沟通以及影响未来部门的方向，都更符合我的需求。

公司会支持我读EMBA，还有办公室距离家里十公里，开车二十分钟，骑车四十分钟，跑步六十分钟。三周后上班，刚好陪娃儿到假期结束。

hxsh2000

运筹小子 发表于 2022-6-24 07:54
加油加油楼主去开拓新的江山还是更有意义和挑战价值

哈哈，非常感谢，确定工作了

hxsh2000

既然找的工作还是在数据和分析领域，继续更新这个帖子哈

接下来的日子，就不再是data analyst, data engineer, data scientist了。
接下来的日子，会从data strategy, data governance, data architecture, data modelling, data quality, business intelligence, metadata management, data roles and expectations这些了。得深入的学习和应用DAMA来建立这些框架，然后找咨询公司来设计和实现这些了。又会是新的以及很有意思的东西哈

运筹小子

hxsh2000 发表于 2022-6-24 20:46
既然找的工作还是在数据和分析领域，继续更新这个帖子哈

接下来的日子，就不再是data analyst, data engin ...

期待期待楼主的更新

hxsh2000

传统的数据和分析的模式(Operating Model)，是各个部门各自为政，甚至是各个部门所管辖的团队各管各的。根据自身的数据和分析的要求，建立起一套套数据库以及分析处理系统，以及数据处理流程，为了各个部门或者团队的分析和汇报需求，管理和维护这些siloed的系统。这种模式称为“completely decentralised”，或者叫“non-governed operating model”

部门和团队里都有实力很强的横跨业务和数据库的SME，来处理数据库的维护到数据分析的开发，并成为非常重要到无可代替的阶段。很多时候，除了服务器和操作系统的维护，这些部门里面的SME还维护着数据库，拥有数据库以及服务器的权限，做着数据库的ETL并且提供数据给个团队进行更多的分析。

然而这种方式，在现今各个公司都在宣称要把数据变成除了员工，业务外，第三种公司最重要的资产(data asset)的时候，这种非规范化的方式，使得统一以及可操作性，变得非常的难。大的来说，不同部门维护不同的数据库，不同的算法，不同的汇报结果，会使得上报的数据根本无法统一，也无法保证数据的正确性，无法保证正确和有效的数据，也就无法建立起可靠以及有价值的数据资产；小的来说，无规范性的操作方式，使得各个部门在使用数据的时候，总是需要在各个层面不停的做检验和检查，并且在出现数据问题时花费巨大的沟通成本和纠错成本，去人为的更新数据和不停的提升算法。这会大大的影响到处理数据的效率，以及人力成本和时间成本

hxsh2000

在开始一切的时候，首先最重要的是确定我们的Goal --> Scope，如何把数据分析的“我们要达到什么”合并到公司层面的大战略上"Business Strategy"，以此来最大化并且取得高层的支持，拿到Funding来做进一步的工作。而一部分的工作呢，是了解“我们为什么要这么做”，这个部分就会开始了解我们现在的状况，pain point，challenge等等

而这些的开始，需要assess our current status，以及建立起让大家都清晰的路径。

hxsh2000

数据和分析的方向，除了数据开发，数据建模，数据清洗，可视化报表开发等等外，还有很多有意思的方向。

如选择：
data governance的工具data catalogue: Callibra, Informatica, Alation
metadata management tool: SAP Information Steward, Informatica, Azure Data Catalogue
master data management tool: SAP MDM, Profisee, SAS MDM

这些需要解决的问题是：
Data Management: master data management, reference data management, metadata management
Data Governance: compliance & regulatory management, data profiling, data lineage, data modelling, data quality management, data catalogue

之后需要考虑解决的是：data analytics and consumption, data domains, data distribution, integration & storage, data exchange, security & operation，就需要更技术化的和细节化的支持，来建立规范化和可操作话的体系

hxsh2000

虽然心理层面还是觉得，没有准备好要开始工作呢，可拿到offer也很快要开始新工作了，就得准备准备，恢复恢复，回到一定的工作状态。

开始 Wharton Strategic Management的第三门课《Strategic Management Capstone》，这个课程需要做一个项目，查公司资料，然后分析公司的Connected Customer Relationship，以及Connected Delivery Model，接着使用课程提供的分析工具以及列表，完成一个Presentation。不容易啊，也会比较花时间做研究。

算算时间，从三月份开始漫无目的的休养生息，到六月底，118天，总共学习了59个小时，其中还有28个小时是六月初培训DAMA-BMBOK的。

四月以后我也几乎没有投Senior Manager或者Head级别的工作了，虽然这段时间放出来的工作有超过十几个，可完全不在状态的时候，都是打开了这些工作的网页挂着，也不想改简历的去投。其实之前靠着各种热情和momentum往上冲的劲头，已经渐渐的消失，代之的是对这个领域的不完全熟悉却不得不继续在中高层做出成绩，需要耗费巨大的精力沟通，招人，以及适应。还有的是，需要去执行其他人之前制定的计划以及按照时间做好delivery，我还是不太习惯，更喜欢从制定策略和计划，都是我一手建立起来的。所以这个新工作比较适合我现在的状态，可以有个过渡，至少不用马上进入到原有的需要delivery的那么大的压力下，继续补足数据分析的各个层面的知识，更多的熟悉整个数据分析部门的业务以及建立起我喜欢的合作方式

dxd008

hxsh2000 发表于 2022-6-12 13:13
DAMA-DMBOK的培训课程开始上了，DAMA这块，简直就是data and analytics的圣经，包含了所有的数据策略，架构 ...

请教楼主, DAMA-DMBOK 这块的培训是在哪上的？能不能给个链接。 我也非常感兴趣这块， 多谢

Allenlcpllee

看了lz的路程
还是很佩服的
想请教一下 我想学习一下数据可视化 有什么好的udmey课程可以推荐？感觉选择太多 不知道怎么开始

bbjvc

sunjiayi 发表于 2022-6-17 12:22
我一直觉得da甚至ds只是高级excel 操作员。
虽然有各种regression 甚至random forest之类的算法，但本质上 ...

要是报告，和data model都不算直接产出的话，那engineer出的pipeline, warehouse, lake/mart不是离产出距离更远?

好的DA，和BA确实有类似的地方，就是除了对数据建模本身的理解之外，对数据在内部的应用要有好的掌握，能针对不同用户提供恰当的分析，这些靠的是对商业流程和数据实际应用理解，这些虽然是数据技术之外的东西，可也不是嘴炮，要是嘴炮好就能干好BA或是DA，那这部分活早被销售包了。

sunjiayi

bbjvc 发表于 2022-6-27 22:43
要是报告，和data model都不算直接产出的话，那engineer出的pipeline, warehouse, lake/mart不是离产出距 ...

报告只是作为决策支持用的，当然不是直接产出，老板拍板的时候作为参考之一而已。但engineer的data warehouse,model这种可以作为其他系统的输入，所以那是离产生价值的更加接近的。报告只服务有限的几个对象，而且在这个对象眼中这些报告有多少用还得打个问号。
另外ba当然是嘴炮，这个还用讨论吗？？随便找个sme和开发完全就可以跳过ba这个角色。

hxsh2000

接下来一段时间，如果是经济开始走向不好的方向的话，那么纯管理的特别是新进入公司还没有适应的中层管理，会有很大的挑战。当预算开始变得比较紧的时候，这一类型的职位，会成为砍预算和人员的首选。

个人感觉，公司层面的数据和分析部门和项目，如果还没有建立起集中化平台和开发环境，那么经济不好时，这块可能会暂时停止。而数据科学这类职位，在非科技类公司里面，可能会受到传统派的反弹，毕竟数据科学做出来的分析结果，很多时候外加了很多的限制和特殊设置，会使得对外宣传时特别有用，然而在用来指导实践时，常常无法达到目标，由于受制于模型的设置的限制。在市场和经济好的时候，主要看重大家如何做出好看和好宣传的结果，然而当市场和经济不好的时候，主要看重大家如何能够生存好，那么回到可行的并且不用花额外的预算就能运转的，原本的模式，就顺理成章了