系统的学习Data & Analytics

hxsh2000

hxsh2000 发表于 2021-4-17 14:00
业务部门要什么呢，根据不同的层级，不同的部门，要求也都是不同的。越上级(executives及以上)，越需要数据 ...

这是一年半以前的心得，和现在从business group出发切入点，几乎一致。现在也可以更好的涵盖全部的部分，也更有信心清晰的把之前的心得和体会，在报告和实践中统一展现出来。

"业务部门要什么呢，根据不同的层级，不同的部门，要求也都是不同的。越上级(executives及以上)，越需要数据的同一性和统一性，能够用很简洁的图表或者趋势图，描述出公司的现状和未来的趋势分析；中层经理级别的(senior managers / managers)，由于负责比较具体的职责并且负责具体的达标性KPIs，所以需求的很多时候都是既有具体的指标，并且需要分析结果和能指导如何进行下一步指标；基层人员(leads / SMEs / Users)更多的需要给出具体的需要跟踪和下一步的任务。

对于管理层，非常重视的是数据汇报和分析的一致性(data integrity & data quality, single source of truth)，要不会经常出现CFO给出一个数据，然后Sales最大头给出对同一个指标而完全不同的数据。于是在最高层的会议中，经常性的最后变成了讨论到底谁的数据才能说明问题，而非做出下一步有价值的决策上。另一个是数据能够反映出现实还有趋势。还有就是如何利用分析和新技术，提高分析结果的可靠性，还有给出有价值的原因分析。

对于single source of truth，实际上不仅仅只是技术部门实施的数据单一性来源与汇报。还涉及到整个业务部门如何管理数据的汇报和KPIs的定义和设定上。现实情况，由于业务部门拥有一定的数据开发能力，经常独立的开发自定义的分析模型，往往使得在向上层汇报时，不同的部门使用对于自己有利的KPIs，甚至对于统一的KPIs而使用不同的定义，使得管理层无法有效的并且统一的了解到现实企业运行的现状。

所以在这个里面，一方面，需要让技术部门统一数据源的导入，并且对于各个数据报表的数据源进行规范化，让独立且自定义的分析模型必须建立在数据部门提供的meta data assets上面。另一方面，规范化业务部门的使用数据和自定义分析模型，建立起一套KPIs可供查询的data dictionary。如果是最高管理层设定的KPI，那么所有的分析和定义必须从那里面来。而如果是中层的KPIs，那么建立可供request / approve的流程，并且使用IT的技术实现和管理这个流程。

另外一些就涉及到data governance，data integrity，data quality如何实施和管理上了，也都是需要技术，数据和业务部门共同参与与协力才能够比较好的实现的。
"

hxsh2000

hxsh2000 发表于 2021-8-8 14:33
aws, azure本身是提供一个平台和技术支持，让single source of truth理念更能够实施而已。single source  ...

这是一年前对于single source of truth做的定义，以及在公司里面实现的想法和体会。当时是代表业务部门与集团里面的中心化的数据团队打交道，所以standardisation of data architecture还没有纳入范畴。更多的也是业务和数据的视角，来确定Standardisation of Data Asset, Standardisation of KPIs这两块。

“aws, azure本身是提供一个平台和技术支持，让single source of truth理念更能够实施而已。single source of truth分几个层次，各个部门的参与，才能实现。我在现在的公司做了如下：

1. Data Source standardisation，确定各个不同applications之间不同数据的single source，比如有Salesforce CRM, Billing Application, ERP Finance，那么在这几个系统间，哪些系统在什么条件下，在分析什么的时候是key source。然后确定哪个系统分析什么。在ELT到aws, azure之后，确定data assets的来源和分析目标

2. Data Assets standardisation，在确定在什么条件下，数据源的single source of truth后，需要把data source标准化为data assets available for analysis。就是让data engineer和data analyst在分析数据和提供insights的时候，能够在特定分析要求下，能够从single data asset来做further development & analysis。比如我分别对于sales, operations, logistics都建立一个包含比较广的meta data assets，之后无论业务部门还是数据部门，要做分析，必须从这里拿数据。如果有需求更多的开发，需要update meta data assets，需要让owners和我一起approve

3. KPIs standardisation，在确定了data source, data asset这些technical的single source of truth规划后，还需要对经常使用的分析standardise KPI calculation。这个主要避免不同业务部门针对各自部门的指标，经行优化和美化，而导致各个部门对相同的KPI做出不同计算规则的data integrity issue。这个在高层的报告中，经常发生

使用sql / python也可以达到以上的要求，理念是一样的。然而由于sql / python的compliance / control和难以中心化，让以上的控制很难得到实施，因为各个部门能够各自开发自己的分析，那么非中心化的系统，很难达到以上三点的需求。”

hxsh2000

hxsh2000 发表于 2021-9-3 18:32
说说管理的话题吧，这些只是我自己的理解和从自己的亲身经历/看到的总结和体会出来的而已，并不一定是真理 ...

"说说管理的话题吧，这些只是我自己的理解和从自己的亲身经历/看到的总结和体会出来的而已，并不一定是真理。

西方社会在罗马帝国甚至更早之前，选执政官的制度就是通过元老会选举外加在人民面前演讲取得的支持。所以：说并且得到幕后权力的支持，是上位的非常重要的条件。

翻译成现代语言，说就是要能够提供非常好的远景，要能够一边描绘出你想做的或者正在做的事情的美好的外加，外加你以前所作的成就，来吸引大家得到有效的支持。做出成绩是一部分，更重要的是说，让大家相信你做的和所描绘的。另一方面，是得到有权有影响力的人的支持，并且通过说或者沟通，让这些人觉得你是能够帮他们完成想做的事情，或者处于同一阵线，亦或者能够代表他们的利益。这个意思就是要紧跟着现有在公司里有权力和影响力的各位上级，有效的理解他们的理念和想做的东西，成为一定的代理人和可以发声的渠道，在同一阵线上互相支持做出成绩。所以在公司里，那些很能说，并且很能在现有管理层前展现能力的，得到更多的机会，升迁也更快

通向管理的另一条道路，是通过扎实的积累并且踏实的做出成绩和业绩，并且展现足够强的业务能力，来达到成为技术管理者。"

西方公司的管理体系以及各个部门之间，在数据和分析方面，都是有着很多的重叠。在面对中心化的浪潮并且有机会升任集团层面为主导的时候，其实各个部门间以及各个管理数据和分析的团队间，都有着很大的统合的机会和挑战。于是大家连横合纵，相互找到互相支持的盟友，争取着最后的主导权。

这几天看特拉斯在回答质询的演讲，越加深刻的认识到或者感受到，需要内心的坚定和强大，才能在如此有压力和在反对声音，坚持继续演讲。

hxsh2000

数据部门有着越来越中心化的趋向，也是大势所趋。打算在下次给管理层做报告的时候，探讨或者叙述一下或者对比一下，以下的比较。这个是从我开始发这个帖子的时候，就是我非常重要的想法和管理理念

现阶段各部门的全能型SMEs模式 VS 未来阶段中心化的各组分工合作的模式 (Business, Data, Technology)

还有打算讨论一下之前我说过的，数据和分析部门在公司里面扮演的角色：

传统型的支持模式：只是中心化了数据分析的开发和维护，按业务部门的需要做出开发，不具体负责开发的结果是否可以带来足够的收益
现阶段主流的促进模式：中心化了数据分析的开发和维护，并且数据部分不仅仅扮演传统BI / DW开发和维护的角色，还要求对业务有些许了解，外加对数据有比较好把握，于是能够扮演一定的consultation的角色，帮助业务部门做出数据开发和分析，以促进业务的收益
可能的合作伙伴模式：中心化了数据分析后，不仅仅支持促进模式，还在其中扮演合作伙伴的模式，即在一定的程度上需要和业务部门一起实现业务的主要目标，成为主要的KPIs实现的一部分。需要比较深入的业务和数据的理解。而由于独立于业务部门，能够以伙伴的模式参与业务部门从上到下的沟通，能够在很多时候帮助业务部门在使用数据分析达成目标时，帮助业务部门内部实现垂直的通畅的沟通。

hxsh2000

为什么我那么习惯合作伙伴的模式呢？可能还是和我第一份工作的经历有关。第一份工作是在一个中型公司，两百号人左右，做的是Business Analyst，然而特殊的是，直接汇报给CFO，所以在第一份工作中，很多时候有机会以CFO的视角来看待整个公司后勤部门的管理和合作，还有与各个业务部门从上到下的交流和支持，甚至在大多数时候，是以半个代理人的身份参与进各个部门的合作和沟通。足足四年的时间，在这份工作中，非常习惯的与各个部门的GM到Analyst，都很好的接触到，并且经常性的会谈论各个部门的需求。另一方面，在这份工作中，由于CFO分管了Finance, IT, Shipping, Customer Service等后勤部门，又都参加了这些部门和业务部门的交互和合作，于是习惯了从大方向来看待各个部门间的合作和竞争，并且由于很习惯的或者有很多机会参与和高层的交流，于是很多时候，交流的级别和职位越高，我反而更容易的理解和抓住各位头头们想要的。

hxsh2000

hxsh2000 发表于 2022-6-24 21:46
既然找的工作还是在数据和分析领域，继续更新这个帖子哈

接下来的日子，就不再是data analyst, data engin ...

"接下来的日子，就不再是data analyst, data engineer, data scientist了。
接下来的日子，会从data strategy, data governance, data architecture, data modelling, data quality, business intelligence, metadata management, data roles and expectations这些了。得深入的学习和应用DAMA来建立这些框架，然后找咨询公司来设计和实现这些了。又会是新的以及很有意思的东西哈"

和之前的预想一样，新工作开始三个多月后，在我做的事情里面，已经快忘却了之前管理data analyst, data engineer团队，一直需要按时间开发出data assets & reports的经历了，以及支持data scientist团队一起做machine learning的开发了。

现在负责data strategy的起草和定稿，整个部门和数据相关的项目(包括业务流程设计，业务数据需求，数据源系统的实施和升级，数据库的选择，以及数据源数据质量的提升项目等)都参与其中，进行协调和汇总。也就是说，这块的参与，已经不仅仅是大家熟知的数据分析领域的范畴，毕竟传统理解的这块更多的就是统一数据库或者数据中心以及之后的所有数据处理以及数据分析汇报的范围。而且还涵盖了所有与数据和分析相关的，从和业务部门谈数据的需求开始，到建立起业务流程取得这些数据，到录入哪个源系统，到如何在各个业务系统中的互动，再到确定SOP哪个团队负责哪个流程。然后是设计各个层级的data governance committee，找到大家支持并且确定committee charter，讨论大家需要负责的范围等。

与业务团队和数据团队建立了很不错的信任，至少有了值得被信赖的形象，并且自然而然的成为了数据方面的thought leader

Fernando

你可以考虑写本书。现在中文圈里好的数据书籍并不多。

fiuqia

感谢分享

genust

感谢分享

hxsh2000

九月和十月主要还是在吃之前的老本，更多的就是把原本这两年来的心得和体会，做成presentation给senior leadership team介绍和讲解数据和分析的东西，并且和senior leaders沟通得到支持，讨论可能需要的资源来推进各个DAMA涵盖的各个部分的接下来几年的计划。实际上这两个月也没什么时间，九月几乎空闲时间都在减肥和跑步，在十月初跑了墨尔本马拉松；跑完步小小恢复了以后，又开始找游泳私教，几乎都泡在游泳池，准备十一月中的半程铁人。还有周日几乎就是陪孩子参加各种运动

现在觉得需要多学学DAMA中各个部分的细节了，之前只需要和高层做交流和讲解，总体的把握是很足够的。而现在已经批复了使用了我推荐的数据分析治理构架外加数据分析运营模式后，就需要进入到如何实施的阶段，也就需要更为具体的了解，才能在和咨询公司的项目管理中，继续掌握主动权。所以接下来两个月得好好的学习DAMA各个部分的细节，还有各个部分涵盖的项目以及需要哪些步骤来实施。准备十二月底之前去考个DAMA的证书，算是好好的激励自己多学点东西

hxsh2000

《电影最TOP 157：这几部电影让你看清职场真相》：https://www.youtube.com/watch?v=DcRAI6xvHKk
不同的人或许会看出不同的东西

《成功的秘密》
《职场一条虫》
《公平竞争》
《实习生》
《猎头召唤》
《七个会议》

hxsh2000

女魔头Anna

《女魔头Anna传记曝光！嫌婴儿太胖？坐“人肉轿子？时尚圈不能说的秘密...》：https://www.youtube.com/watch?v=R082tRJmHHg

《女魔头Anna传记曝光！才华横溢也要跟钱走？职场PUA天花板？》：https://www.youtube.com/watch?v=1xSBmQcZDRs

《女魔头Anna传记曝光！亲信爆料：权力的代价？众叛亲离？婚姻多舛？》：https://www.youtube.com/watch?v=Q2c1DZgGtrs

hxsh2000

一直以来，我在职场中总会陷入一个困境。就是对于直属上司，我自认为可以更了解和适应更高层的直接交流，更知道上层到底要什么，觉得直属上司的按部就班的执行不够切合上层的需要。于是很容易的和直接最上层的领导联系并且建立非常好的关系，以此来开展工作。而如此却常常在权力的继承和官方的渠道上，往往占绝一定的劣势，资源的调配和官方渠道的建设上，也不能够取得足够的资源。

从2007年到今年2022年，工作十五年了。近期也在和我们家的小妞妞说：“我好像天生跟直属上司不对付，又没有反叛到坚持直接绕过上司直接行事，所以总让自己陷于尴尬境地”

随着经验的增加，也越来越难以忍耐没有vision或者没有能力做决定的上司，更加不愿意配合。之前的做法，都是半顶着然后争取一定的自主权。然而这样的结果，最后总是两边都捞不到好。在现在有了比较足够的经验，又总能接触高层，需要让自己更加的进取，并且内心更加强大些，更坚定的为了实施自己要的，付出更多的努力和坚持了。算是下一个阶段自己的提升和自我发展的关注点

bruce0807

楼主可以坚持连更到现在，实属不易。

hxsh2000

现在每周四都会去市中心的办公室，和各位key stakeholders开会，也顺便和之前的一起工作过的同事们喝喝咖啡聊聊天。

上周四和一位之前的同事约着下班后喝酒，他最近刚刚在澳洲的一个矿业公司拿到offer，做管理融资以及债务工具，外加衍生计算的。是一位印度的同事，还是我给做的reference check

边喝酒边聊天，刚好还坐在一个牌子下面，写着"Selected Teas from India & China"，喝着黑啤，好应景哈

hxsh2000

入职以后，我一直在积极推进的一点就是：以前整个部门都没有人专门负责将各种数据相关的项目统合起来，让管理层能够有直观的机会，来了解到底所有的项目里面，哪些是数据相关的，并且把这些项目进行归类，并且能够统合其中的相关性，且能说明到底这些项目如何关联到long term goal / future state

于是，从刚刚开始，我所做的就是以非正式的方式，和各位头头们在交流的时候，慢慢的收集这些与数据相关或者不想关的项目，以及未来要实施的项目。接着在最近确定使用DAMA作为数据治理的框架以后，把这些之前收集到的相关项目，分门别列的放到了DAMA Wheel的各个项目类别里面，在把这个做好的列表发给各个部门的管理层，补足可能缺失的部分。于是经过几周的时间，现在在我这里，统合了整个大部门里面，所有的与数据相关的项目了。

由此经过几个方面的努力，我已经自动的获得了这些方面的解释权。比如DAMA Data Governance的数据治理需要涵盖哪些方面，这些方面都有哪些要求，需要各个部门配合一起完成；整个数据和分析领域，对于未来的future state，区分业务，数据，技术团队的不同领域，定义之间的合作和界限；各种与数据相关或者关联的项目，从数据进入的各种源系统(比如SAP & Salesforce等等)，到进入数据库和数据仓库(Azure, Snowflake, Databases等)，再到报表和分析的规范化(Power BI, SAP BI, Shiny等)，都会把信息都汇集到我这边来了。

而这些信息，我自信都是管理层，特别是最上层，所最需要了解的。知道以及确定我们要达到什么(strategy and blueprint)，如何达到目标(roadmap)，接着知道我们现在在做什么(current activity list)，现在做的哪些是核心/有助于/没有相关性/相反的方向(gap analysis and assessment)，然后还需要做什么。

hxsh2000

hxsh2000 发表于 2022-5-19 11:34
其实现在的FAANG，从公司的管理层关注的资本管理和增值变现，收购新公司补足产品线进行更好的整合和垄断， ...

"其实现在的FAANG，从公司的管理层关注的资本管理和增值变现，收购新公司补足产品线进行更好的整合和垄断，还有在垄断后在不必要的时候只维持产品的更新的小改进；而从公司的员工，也更多的只关注如何进入到这些公司中，得到更好的福利和薪资，从股票增值所得来的收益，享受公司的名气以及积累经验。这些已经远离了当年这些公司初创时的热情和梦想，还有主旨。随着这些公司越来越机构化和资本管理话，剩下来的也就是和以前的那些“勇者屠了恶龙，而后成为了恶龙”的故事，等待着下一场变革来临时，被新的勇者们赶下神坛，或者舞台，当年的IBM如是，诺基亚如是，这次呢，会是里面的哪一个或者哪几个公司会退出舞台呢？

历史总是惊人的相似，也在无限的循环。然而生处其中的人们，总会认为这次是与众不同，这次有……等原因，这次自己可以做得更好以避开这种宿命。然而当一切发生时，其实只是又一次循环。也因为有了这些循环，在科技行业，才有了之前以及之后，更多的那么多在车库里创业成功，带着年轻人与生俱来的梦想和热情，以突破想象力且愿意为之实现付出巨大的努力的人们。这些人并不那么关心资本增值，也并不那么关心薪资和股票表现。"

在大环境不好，或者整个行业在因为大环境不好而暂时走下坡路时，这些大科技公司不得不慢慢的回归或者正视基本面，随着美联储持续的加息缩表，市场中的资本和资金总量，都在渐渐的减少，获得资金的成本也不再是之前的无成本而简单的获得。那么这个行业里面，之前内部形成环流的互相投资，互相炒作，通过巨大的资本回报来吸引更多资金投入，就无法继续的玩下去。这些公司也不得不从讲故事，画大饼，无节制投入资金和成本扩大市场占有率为导向的文化，逐步的过渡到公司内部的治理上来，比如增加效率，节约成本，砍capex, opex预算，降低working capital等等，准备过冬。

而这种回归，会使得之前招进去的，适应之前的战略和优势的员工们，很多会失去机会或者不得不改变自身的做事方式。这是因为公司的KPIs变了，评估体系变了，由此对于员工的要求，也就自然的变了。而春江水暖鸭先知的感受呢，则是现在工作版里面，对于科技公司的跳槽选择以及高薪资的咨询或者交流贴，也大大的减少了。

hxsh2000

而这也就是我在帖子里面一直表达的，各种职业，都有其自身的职业生命周期。有些厚积薄发，有些平稳发展，有些则可能高开低走。各个职业都会有其自身的挑战，如会计的职业早期需要持续的工作和学习拿到CA/CPA，接着通过在工作中的持续努力慢慢的爬职位的阶梯，这个领域里面，职业通道明显以及有迹可循，随着经验的积累，会越来越有价值；如注册护士的职业，由于薪资的结构，提供了多劳多得的机会，愿意加班赚钱的人们，可以获得非常好的赚钱机会，然而从入行时的高于平均的水准，到职业生涯晚期却会低于平均水准，可见增长率是稳定向上，斜率却不高；而IT呢，一如我也一直提到的，就是在大环境好的时候，职业中早期具备很好的爆发性，收入的提高非常的快，然而一旦大环境不好特别是纳斯达克指数崩盘，那么再就业都有困难，而且由于IT更新换代过快，也需要持续的并且整个职业期间都在学习新知识。

hxsh2000

昨天接到一个保险公司人事的联系，今天约时间要聊一下公司里面关于数据治理经理的一个新职位，聊聊看怎样。

hxsh2000

准备程序就是看一看现在保险业和监管机构对于数据治理的视角，以及这一块的监管准则。比较大概的了解一下现在市场上的主要参与者以及咨询机构到底在做什么，以及哪些是最重要的。

由于职位是汇报给数据分析部门的最大头，算是D&A Leadership Team的一员，还是比较有兴趣去谈谈的。

《Seven steps to future fit superannuation data》：https://www2.deloitte.com/au/en/ ... annuation-data.html

《APRA to deepen superannuation data collection across the industry》：https://www.apra.gov.au/news-and ... ion-across-industry

2013年APRA的一个报告《Data Integrity in Superannuation - APRA Insight》：https://www.apra.gov.au/sites/de ... Insight-Issue-1.pdf

《Data governance top of mind for Australia’s super funds》：https://securities.cib.bnppariba ... ralias-super-funds/

没空全看完，就看了各个文章的大概和简介，然后记下几个比较重要的，如APRA CPG 235，
还有如“The Australian Prudential Regulation Authority (APRA) has launched the second phase of its multi-year project to enhance the breadth, depth and quality of data collected from the superannuation industry.”

flip

数据分析是最可能被AI替代的职位

hxsh2000

flip 发表于 2022-11-8 09:41
数据分析是最可能被AI替代的职位

“最”可能，既然用了最高级，那么你对比得出这个“最”的职业列表都有哪些，说出来看看

Grange

hxsh2000 发表于 2022-11-8 19:11
“最”可能，既然用了最高级，那么你对比得出这个“最”的职业列表都有哪些，说出来看看 ...

有些人就是喜欢张嘴就来，说的话没有任何理论和事实依据。

DDD888

Grange 发表于 2022-11-9 08:10
有些人就是喜欢张嘴就来，说的话没有任何理论和事实依据。

是呀，可能其实就是废话啦，不需要承担责任啦，但尽享好处啦

另外，我也在做数据啦，第一当然是数据的收集，其实也是挺有挑战性的，要求数据的时效性啦，我就用rust language多线程编写程序，将我家车库里的ibm x3650 m2服务器上的16个虚拟cpu都用上了，但我开始担心我家的电费了 ，我在考虑是否把程序移到oracle 4个虚拟cpu的终身免费的云上，但又担心4个虚拟cpu数量不够多，看来要试下才知道

Grange

DDD888 发表于 2022-11-9 07:55
是呀，可能其实就是废话啦，不需要承担责任啦，但尽享好处啦

另外，我也在做数据啦，第一当然是数据的收 ...

哈哈 其实用不了太多电的 我家里现在三四个电脑24小时开机 每个月电费要200

DDD888

Grange 发表于 2022-11-9 08:59
哈哈 其实用不了太多电的 我家里现在三四个电脑24小时开机 每个月电费要200  ...

大概是吧，我曾经热水器24小时漏水，缓缓的流，结果家里电费每月达到600新西兰元，一直没找出原因，结果流了几年，找到原因后，现在电费降到三百新西兰元不到

Grange

DDD888 发表于 2022-11-9 08:06
大概是吧，我曾经热水器24小时漏水，缓缓的流，结果家里电费每月达到600新西兰元，一直没找出原因，结果 ...

对 热水是最费电的 我家电费一半是热水

DDD888

Grange 发表于 2022-11-9 08:59
哈哈 其实用不了太多电的 我家里现在三四个电脑24小时开机 每个月电费要200  ...

我刚才在看x5680 6核的cpu,好便宜，现在我用的是4核的，两个硬cpu, 总共16线程，如果买两个x5680,那就是24核了，想想就爽，但一想，我还有台x3650 m3就是24核的，没开，放在那备用已六年了。

flip

呵呵，动了某些人的蛋糕。话说颜美人的科研工作都要被AI代替了，你们比颜美人如何？

hxsh2000

flip 发表于 2022-11-9 11:50
呵呵，动了某些人的蛋糕。话说颜美人的科研工作都要被AI代替了，你们比颜美人如何？ ...

呵呵，既然喜欢说最，就把最表现出来，为什么说最。如果理解不了“最”在数据分析方面的意思，或者是实际应该有的意思，那么我觉得你理解不了数据分析的东西

如果只是想讨论是否数据分析会被AI代替，那么我支持你，也许总有一天会的。