系统的学习Data & Analytics

hxsh2000

这里说的是现阶段在新的企业构架体系内，在数据分析团队从之前business或者IT部门独立出来后，整个数据管理的全生命周期分别放在了business, data, IT，各自分管体系内相应的部分。

我在数据分析团队内待的时间最长，又刚好分管过数据团队的开发以及和IT团队确定分管范围，对这块相对来说比较熟悉。对于数据团队来说，DAMA里面包括了DAMA Wheel的全部，然而很多时候，独立出来后的数据分析团队，由于预算以及人力，亦或者skillset的限制，整个涵盖范围局限在了：从各个应用或者系统端开始取得数据，之后这些数据流入到或分离，或中心化的数据库或者数据平台，进行数据开发包括data modelling, data development, data operations management, data quality management等等，进而把这些开发后的产物(Product)支持终端business进行分析，或者数据分析团队进行深化的DS, ML续开发。

所以在数据分析部门谈论Data Governance, Data Architecture等词汇时，绝大部分都指代数据平台以及之前一步的应用数据来源。需要的Data Governance也大部分放在了从源系统拿到数据后的一系列数据管理的步骤，那么相应的Data Architecture也更多的关注于数据分析过程中，如何建立好源数据应用，各个数据平台间的数据分析定义和架构。而Data Quality Management也关注于数据在这个过程中，如何更好的保持统一性以及正确性。

hxsh2000

然后业务Business部门对于数据治理Data Governance, Data Architecture, Data Quality Management却也有着自己的理解，这个也是和业务部门在这个过程中的参与时期和可以影响到的阶段相联系的。

之前讲到的整个数据管理全生命周期来说，数据对于业务部门来说，是前期的与IT应用和系统紧密联系的，数据获取/输入，以及在各种应用和系统中相互的作用，进而影响到数据质量data quality，这个涉及到have the high quality on origin of source；以及后期与数据分析团队的紧密互动的部分，是在数据分析部门开发的各种数据产品后，可以拿到高质量的数据分析结果。

那么在业务部门谈论Data Governance, Data Architecture等词汇时，大部分都指代从数据为进入到企业的各个系统及应用体系之前的data collection，再到这些数据在取得后，如何进入到各个系统以及应用端的data creation，再到之后的数据在各个系统和应用间的data interface。而到这个时刻为止，才开始讨论到对于数据分析团队需要的源数据来源的相关领域。于是Data Governance, Data Architecture，涉及到的也更多的是这个阶段，如何更好的处理和提高源数据的质量。比如拥有完善的定义，对于各类数据分类，并且制定这些数据需要如何定义的meta-data management，各类数据需要哪些信息来能更好的支持分析data specification，在各个应用和系统中间流入流出并且相互更新过程中的data architecture，还有这块数据源的data quality management。

这个时候的data governance，很多时候的指代，是使用ISO的各种标准定义以及管理数据，比如：
ISO 21586：Reference data for financial services
ISO 55001：Asset management
等等

hxsh2000

离家近的工作，感觉真好，每天可以送完娃儿再上班都赶得及。相比于之前两年都在家上班，特别中间还有两份新工作是都在家上班的，其实是很难建立起好的人事关系的。现在可以一起找同事喝咖啡social，可以通过各种非正式的catch up去获知更多的信息，可以通过各种活动建立起好的工作以及非工作的关系，感觉真好。

对于我这种中小城市，并且重视和习惯“托人办事”的人情网络背景出来的，是非常习惯通过建立起这类型的非正式关系和合作网络，来促成有效率的信息获取以及办事效率的，这种工作关系和状态才是非常适合和习惯的。那种完全在家工作，做各种事情都公事公办，并且官方化以及完全工作化的工作联系，虽然可以做，却并不很习惯，毕竟发挥不了优势

Ubunbtu

So much to learn! Thank you

minami

之前大略看过一次LZ的帖子。还以为是单身没有孩子。最近又细细看了一次，原来是有家有孩子的。
LZ时间管理和精力真好。看得出工作也挺忙，还能坚持不断学习。LZ应该是目标性目的性都很明白的人，制定计划并能坚持实施下去。很佩服对自己有清晰的认识，知道想要什么和如何达成的人。
看上学时候的一些介绍，是个学习能力很强的人，高中短期内就取得那么快进步，这边大学还说没怎么学习就一个HD和全D。工作后一点点积累每次都特别清晰规划。
很励志，按照这个劲头觉得head / GM都不是终点。

hxsh2000

在很多的领域里，特别是在那些交叉的地方，如果你不主动的定义你自己，那么别人就会依照理解来定义你的工作范围。

就比如我现在的工作，在入职和开始进入工作时，大家的理解都是在业务的组里，做data governance，建立整个框架。然而在业务领域，对于data governance的理解和要求，并不涵盖data and analytics领域，所以更多的是初始数据的治理和提高数据质量。于是入职后，在每次和管理层交流时，我都加入了展示数据治理data governance的整个流程，并且让大家至少有意识到data governance should cover the full data governance lifecycle。于是管理全流程和领域的data governance并且建议框架，就自然而然的成为我未来的关注点之一。

另外借着管理数据构架的项目的机会，按照最高领导层的要求，使用top down approach的时候，也顺势将这个项目扩展到从最终的大佬们的需求开始，往回追溯需要的数据并且优化数据，顺势就把data modelling最重要的这块需求和定义作为工作中的一部分。并且主动的去了解和交流，让大家都知道，之前的数据管理和项目，很多都在各个部门独立进行，这样子很容易导致redundant investment或者各自为战与大方向不一致，于是开始从各个部门了解有什么项目在进行中或者将要进行，把这些大家正在做的集中在一起，让管理层有特别清晰的对于数据分析方面的总体把握。

hxsh2000

四个月的时间，完成了Wharton Online university of Pennsylvania的《Strategic Management》系列课程，这周拿到了Professional Certificate

课程链接：https://www.edx.org/professional ... d_from=autocomplete

这个系列课程由三门课组成，八百刀左右而已。拿到一个可以连接沃顿以及战略管理的证书，很值了！

hxsh2000

风水轮流换，明年到你家！

遥想当年的科技公司，管理咨询，投行，矿业公司，四大银行，今年的澳洲最受欢迎的大公司，前四都是科技公司{:12_762:}

Australia’s best workplaces 2022
Large category (companies with 1,000 or more employees)
1. Cisco
2. Salesforce
3. Atlassian
4. REA Group

我的上帝

hxsh2000 发表于 2022-8-14 13:58
离家近的工作，感觉真好，每天可以送完娃儿再上班都赶得及。相比于之前两年都在家上班，特别中间还有两份新 ...

楼主不在悉尼吗

xiaoyusteps

謝謝樓主分享～存檔細讀

hxsh2000

之前一直要考的Microsoft Azure Data Engineering DP-203，已经推延了好几个月了。最近的一次是延到两周后，还是准备看看给考过去，就不用再继续一直没完成的放着呢

工作中需要安排了参加一个培训，ISO 55000系列中的ISO 55001: an asset management system standard, the main objective of which is to help organizations manage the lifecycle of assets more effectively. By implementing ISO 55001 organizations will have better control over daily activities, achieve higher return with their assets, and reduce the total cost of risk.

hxsh2000

还是顺从了自己的风格，把Azure Data Engineering DP-203直接给推迟到十二月底再考了，实在是看不下去，毕竟和现在的工作几乎不相关，也完全用不到，这个以后再担心吧。一直推迟也是因为这个考试报名时是免费的，不考的话有点浪费了

现在的兴趣完全就都在DAMA CDMP，以及其中的Data Governance，Data Architecture上面了，花了不少时间在看之前六月的培训视频的这两个章节，外加对ISO 55000系列的了解等。工作中需要用到的，是既重要又紧急。学这些全新的东西，又是在战略层面上的，一直都是我最有兴趣的。一旦需要学到很细节并且很强的动手实践的，自己就很难能够享受其中了

KingChen

几年没来新足迹，才发现这个宝藏帖子。

在国内做了8年data analyst，在澳洲也干了8年data analyst，在国内更偏业务，在澳洲更偏技术。换过几个技术平台了，最早是SAP，后来是Oracle，现在是MS Azure/Power Platform。也换过几次业务领域，财务和政府的项目做得比较多。

帖子太长了，先mark再看。很多讨论很有价值。

KingChen

另外，各位有涉猎量化交易方向吗？

时光匆匆如流水

Mark，学习一下。

minami

LZ每天是下班后再学习还是工作中抽时间学习？

hxsh2000

minami 发表于 2022-8-24 20:20
LZ每天是下班后再学习还是工作中抽时间学习？

下班后加上周末，上班大部分时间都在开会。之前很多时候还得经常小加班

ringsun

KingChen 发表于 2022-8-24 09:47
另外，各位有涉猎量化交易方向吗？

我个人做Financial Planner，在读Master of FinTech。会涉及量化交易。

ringsun

FinTech课程中有一门Data Management/Science，做出看起来高大上的报表其实是一件很容易的事情。
老师建议我们拿Financial Data Professional (FDP) Certification：

FDP Topics：
       1. Introduction to Data Science
       2. Linear & Logistic Regression, Support Vector Machines, Regularization and Time Series
       3. Decision Trees, Supervised Segmentation and Ensemble Methods
       4. Classification, Clustering and Naïve Bayes
       5. Neural Networks and Reinforcement Learning
       6. Performance Evaluation, Back-testing and False Discoveries
       7. Text Mining
       8. Ethical & Privacy Issues
       9. Fintech Applications

感觉楼主学的太多太杂。

hxsh2000

我的上帝 发表于 2022-8-19 00:23
楼主不在悉尼吗

不是，墨尔本的

hxsh2000

定义好自己的工作范围，尽量把重要的内容涵盖住，然后积极的把这种框架在每个机会来临时都好好的沟通给重要的高层，会收到非常好的效果。

我进公司的时候，工作定义是做Data Governance。随着近一个多月来的和各位高层的沟通，渐渐的把Data Governance的涵盖范围扩大到包括：
数据在各种原系统的录入以及流向，涉及到定义源数据的取得以及录入，和各个原系统间数据接口的流程和技术，外加定义各个部门间在这个过程间的职责和规范；
数据在原系统后进入到数据库/数据平台，以及在数据平台间的开发，维护以及流向；
数据在终端如何让各个部门既能做到从single source of truth拿数据进行回报和分析，又能在汇报和分析时形成既统一又支持多维度分析的功能，并且能够支持与外部机构的数据分享。

于是自然而然的，进入了data strategy以及data management roadmap design and development的领域。接下来几个月，建立讨论小组和业务，数据，技术做出未来需要的可能蓝图，给高层做汇报。

hxsh2000

hxsh2000 发表于 2022-6-17 00:15
三月份的时候，也许还有不少人会来质疑这些观点。五周前，也许会有人们来讨论这些观点如何。到了现在，也 ...

又过了三个月了，美国那边的形式越来越明显，大家也已经适应了或者习惯了科技业的寒冬的到来，科技公司也不仅仅只是之前的职位冻结，而且是已经开始甚至计划未来的裁员了。好时光的时候尽量向前冲，不好的时光呢，该龟缩还是得龟缩，要不一不小心的话，之前的一切很容易付诸东流。

“
三月份的时候，也许还有不少人会来质疑这些观点。五周前，也许会有人们来讨论这些观点如何。到了现在，也许大家慢慢的会开始正视这些了吧。如之前和一位朋友说的，美联储的德行，随时可能改变策略和底线，可在彻底的改变之前，这个趋势还是很明显的。
”

hxsh2000

现在的感觉，是之前的离职，真的是非常正确的决定的。在一个以business approach and business value delivery为最重要的环境里，管整个数据分析的技术架构和技术团队，是非常憋屈的一种感觉。毕竟很多任务和很多事情，都可以放在建立solid technical foundation之前，而这种时候做这个职位，会自然而然的变成纯粹的支持团队，并且还是只付出而很难做出成绩的方向。

记得之前的《职场动物手册》里面对于各种任务和项目的介绍的时候，就有分几个等级的层次。即使没办法拿到最亮眼最容易做出成绩的，也不能去做陷阱类型的或者纯支持只有苦劳而没有功劳的事情。

hxsh2000

八月恢复了一定的积极状态，一直在看如何做好data strategy and data governance (DAMA)的资料，马上可以学以致用的东西，并且马上实践的，是我喜欢的。学习时间三十一个小时，刚刚好平均一天一个小时。明显的感觉到，热情渐渐的回来了

hxsh2000

我在另外一个帖子里面的回帖，讲的是talker and doer的。最近与不少做技术的人们或者一直在doer职位上长时间努力的人们聊天，发觉都很缺乏沟通交流，以及这些talk的目的是什么都很没有清晰的想法。并且很习惯的为了平衡没有得到升迁机会的不平，对于上升很快的人们，评价都比较偏负面。打算按自己的理解，分成几段说说这个话题吧，想到哪儿就说到哪儿了。

“
我应该是属于talk比hand on多的多的人，从我的角度讲，talk的能力远远不止于talk，向上管理里面的内容也非常的复杂

比如向上管理吧，需要知道上面的人是什么风格的；上面的人重视的是什么，最关心的是什么；上面的人想知道什么或者需要什么；还有上面的人和其他竞争者的关系以及如何合作和竞争。如果得不到直接的信息，那么就得在与各个部门以及不同的人们的不停交流中，通过能得到的蛛丝马迹推断出这些信息。这样才能在和上层以及高层的交流中，让核心管理层的人认为你理解的了她他们要什么，你甚至能帮她他们把一些模糊的想法具体化并且可以形成可以执行的蓝图，觉得大家是同路人，能帮这个部门争取利益，等等等等。更甚的是，你能自己建立起足够的圈子，让上层可能无法解决的事情，通过你自己在公司里面建立的人脉和流程，得以实施好。这些里面的绝大多数，都是依靠不停的沟通交流，或者是talk来实现的
”

Pippa

感谢楼主一直来更新。分享个好玩的事情：我们公司也有个专门搞data and reporting hub的部门，最近一年还扩招了好几个人，信心满满地给公司各部门开会了解需求、培训、开发等等。搞了一年多吧，越来越多部门决定自己搞，跳过这个部门了。为啥呢？因为他们的资源无法满足整个公司不同部门的需求，而且对需求细化的领悟也不到位，大家等不耐烦就各自开搞起来。当然，比较关键的报表还是会通过他们建立，毕竟也是这个部门的头等大事。但他们当初豪言壮志成为整个企业信息平台的核心估计实现不了。这可能就是理想跟现实之间的距离吧。

hxsh2000

首先要了解公司发展的方向，最重要的就是公司的未来五年到十年的蓝图，一般公司都会有的business strategy, 5-10 years business roadmap

其次是要了解自己部门，三年到五年的计划以及实施目标，一般的部门里面都会有的3-5 years business unit plan, including objective and deliverable

再次是你的直属经理，她他们的工作的responsibility and accountability，还有负责范围和需要达到的目标，一般情况下非常清楚她他们的本年度的KPIs，以及需要达成的最重要的和最大的任务。这个要非常非常的清楚，以便在很多时候的交流中，大大的增加可以参与进各种额外特别有价值的项目的机会

接着让自己做的事情和KPIs，找到紧密联系到以上三部分的各种节点。在各种多人的交际和沟通中，把自己做的和将要做的，不停的找到各种机会展现出来，并且宣传自己做好这些的背景和能力，展示和其他人们做的事情的联系，并表现出愿意帮忙的态度。

所以第一点，沟通和交流，talk的一个重点，就是marketing你自己。而如何marketing你自己呢，就是把自己做的，紧紧依靠在公司，部门和上司的战略和任务上，给大家建立一种你紧靠核心，做的事情和项目，都是在最重要的那一部分里面，并且你有经验，有足够的做成功的经验和能力

hxsh2000

Pippa 发表于 2022-9-11 20:09
感谢楼主一直来更新。分享个好玩的事情：我们公司也有个专门搞data and reporting hub的部门，最近一年还扩 ...

非常感谢分享，这种例子，应该是整个centralised data and analytics进程中，占据非常大的比例的。我的理解是：

1. 大家都把"data as an asset"这句口号喊得震天响，然而当真正被问到那么这个asset到底值多少钱，如何量化，价值体现在哪里的时候，几乎很难得到好的答案，因为即使是公司里面提出这个策略的高层，都未必好好的考虑过这个问题

2. 缺乏高层的重视程度和支持。很多时候，大家都知道这个是未来趋势，然而现阶段，到底未来如何以及如何重要，还在慢慢的发展进程中，外加第一点，高层很多就是抱着试试看的心态，小小的投入一点作为试点，这个在遇到困难和需要支持时，常常就被排在后面了

3. 市场上成功实施这个战略的非常少，并且流动性几乎没有。这个帖子之前也说过，以前的这块，要么IT领导的以技术为出发点的BI平台实施为主，要么Business领导的以商业为出发点的做出分析模型为主；这块data and reporting hub属于需要横跨business, data and IT三个部门的，中间的战略和执行主导权的争夺，涉及到的最高层的政治斗争，都是非常激烈的。各个部门都进来新组建的部门里面，并且安插心腹主导向有利于自己方面的

4. 在开始试点时，对于这块业务的理解，其实是非常缺乏的。很多内部人员压根不熟悉这块需要做多少东西，需要投入多少资源和精力，觉得就是拉起队伍，然后把原本各部门做的数据分析的事情，给集合在一起做更有效的开发而已。然而事实却比这个复杂了百倍不止。如果你看我今年年初面试那些资深经理职位后的感想，就是那些负责这块的最大的头头们，连这块需要的人员需要具备什么样的能力，都不清楚或者不确定，那么如何管理好这样的新兴部门呢

5. 在一个中型的两千个人的公司。如果要做好data and reporting中心化的项目，投入起码得十五个million以上，并且跨度需要三年左右。并且投资还需要偏向于早期的倾斜，才能在不停的得到更多人的buy in

6. data and reporting hub，如之前有朋友说过的，是管理和流程问题。People, data, process作为公司的三项最有价值的资产，数据是需要和人以及流程，紧密的结合在一起的。

Bessy

Pippa 发表于 2022-9-11 20:09
感谢楼主一直来更新。分享个好玩的事情：我们公司也有个专门搞data and reporting hub的部门，最近一年还扩 ...

小公司也许可以，大公司是不可能的。一个部门是不可能了解其它部门的行业知识和业务细节。因为不了解业务细节，基本都是纸上谈兵。

hxsh2000

Bessy 发表于 2022-9-11 21:13
小公司也许可以，大公司是不可能的。一个部门是不可能了解其它部门的行业知识和业务细节。因为不了解业务 ...

是的，data and reporting hub，并不是意味着这个数据部门的人需要完全懂得所有，这些人具备了新的数据开发和中心化的意识和知识，可也是需要慢慢的在做data and reporting development的过程中渐渐的熟悉业务，并且掌握那些知识和经验的。公司的困境，一向来都是，如果依靠以前的思考方式和习惯，那么肯定可以把现有的事情做好，至少是暂时的完成任务；可对于未来，这些人由于固化了之前的做法接受不了新的框架和流程，反而会习惯性的成为抵制新事物的主力。这个在哪儿都是，最后公司要么在转型中成功或失败，要么在不变中慢慢的被替代。