系统的学习Data & Analytics

zhu03

好长,先Mark一下,谢谢LZ的分享

destine

好帖mark一记

hxsh2000

啊哈，终于到了2021年最后一天了，没想到这次学习新知识能持续这么长时间，难得啊。我一直都更喜欢这种记录和分享整个过程的RAW的历程，因为这个经历过程会有实实在在的情绪，节奏还有过程的记录，而非过后加工过的经验分享。因为在这个过程中，不同的人们可以从中得到不同的解释和理解。尽量做到RAW Data的呈现。

2021年一月二十九号开始记录至今，全年的工作外学习时间是538小时，平均每天1.58小时的学习时间。

希望2022年继续努力吧，向着我一直期待的集团公司层面的GM/Head of Data and Analytics努力。

hxsh2000

大伙儿2022年，新年快乐！

运筹小子

hxsh2000 发表于 2022-1-1 00:35
大伙儿2022年，新年快乐！

祝楼主新年快乐，谢谢你这一年的慷慨分享，提供了很多在这个领域的想法、观察和资料，对于我这个新一年也要正式接手data领域工作的小伙伴们来说是一个非常有意义和价值的平台。希望楼主2022心想事成，找到合适的团队一起并肩作战！

mendietaczfls

楼主2022年新年快乐！每次过来看楼主的更新就像是看小说一样，情节丝丝入扣，道理恰到好处。工作学习区最强连载贴无疑。祝愿各位在数据领域工作的小伙伴新年节节攀升，万事顺遂！

hxsh2000

说说2022年的目标吧，这个在去年的过程中，觉得有些技术之外的知识或者技能需要补足的。

1. 英语能力，特别是商务表达的简洁性。由于还是以技术为主的背景，经常性自觉或者不自觉的会描述一些细节或者选择原因，用以支持在技术论述的严谨性或者正确性。然而在与最高层的交流中，特别是在这个层级的，几乎没有技术背景的，对技术的关心或者有涉猎的几乎没有，所以在交流中，只需要论述结论就可以了，力求简洁切到重点。以前在重要会议中，往往会在各个方面做好准备，知道什么时候需要发什么言，所以通过很好的准备，可以补足英语能力的短板，或者降低暴露这方面不足的机会。然而最近的很多重要会议，比如和行业监管部门的会议，和SLT的交流，经常性的会有很多的额外的业务交流，加上新加入公司不久，很多业务的不熟悉很大的影响到交流的顺畅性和表达意思的精确性。这块还是得在今年的补足了

2. 学习和完善使用主流的办公软件，增强效率。比如office 365或者teams的很多功能，可以用来更有效的维护和管理团队的任务；比如OneNote来记录会议和大家接下来的任务；比如Jira等的管理开发流程等。然后介绍给整个团队来提升效率

3. 找个行业内的大牛或者高层做Mentor，建立起比较稳定的交流通道，定期的交流增加对行业的认识以及行业里的趋势

大家也可以发发自己2022年的小目标，有个努力的方向，然后争取2022年实现吧。以前看过一本书，讲的是要把目标分享或者写出来，让周边的朋友或者亲人知道，以此可以让大家帮忙一起督促，一起实现！

hxsh2000

每个领域，每个行业，每个职业，都有其各自的机会，也有其各自的挑战。

现实或者悲观者更多的是看到其中的挑战和难处，虽然有益于避免人们盲目的进入其中，却也砍断了其中很多的机会和真正的了解。用乐观和积极的眼睛，去发现各个领域和行业里面，各自的机会，并且花更多的精力去了解如何发现其中的机会，并且付诸实际的行动，克服其中的挑战，最终成功获得更好的机会，抑或不成功却从中得到实实在在的努力的感受并且得到为了以后成功做基础的宝贵经验，不失为一种更积极和有效的态度。

hxsh2000

很想讲讲各种职业，实际上都有其非常好的上升通道的，见识到其中其他人做的非常好的，并且networking然后从中学习如何做，其实每个行业和职业中，都存在着有别于人们平时固化的(Prototype)职业生态和理解的，更多的机会。

讲讲之前遇到的一位电工，本地的移三代，欧洲移民。区别于固有职业理解的电工形象，就是努力工作，加班加点，赚很多的钱。这位电工的祖上来到澳洲，然后得到机会进入电工职业，之后就爷传父，父传子，渐渐的形成一个小型的公司，维护与熟悉的客户的建立很好的联系，并且不仅仅只做着电工的劳力活儿。每年到世界各地参加这个领域中的研讨会，学习和讨论新的这个领域中的前沿发展，并且可以将这些理论和实践带回来，给予客户这方面的应用和建议，并且得到更多的机会接受相关的项目。然后现在他的孩子，也是从电工开始，通过多年学习和实践电工行业的基础，然后渐渐的介入到更广阔的领域。

hxsh2000

注册护士呢，Prototype固有形象，也是医院，急诊，养老院等各式医疗机构里面，做着护士的活儿。

然而护士的职业发展路径，却也多种多样，通道有着各自的很多机会，其他很多都不再需要做夜班的排班。
比如管理的职位：DON (Director of Nursing), NUM (Nurse Unit Manager), ANUM (Associate Unit Manager)等；中小型的养老院里的RN，常常作为唯一的RN，也经常需要参与一定的管理；此外还有很多做管理的护士去做各种方面的Coordinator，为各种重要部门的连接，非常的有经验
比如技术的职位：Nursing Practitioner，拥有一定发药权的护士，是技术职位里面级别最高的；Educator，做研究和教学的职位，很多是在大学里面的；然后还是社区里面的护士，级别不低，属于比较技术性的岗位

两年前，和老婆去考察了几个类似养老院（只提供住宿和一定的医疗服务，而非养老院的全包的），给老人提供住宿的服务机构。当时看的几家，都没有找到非常合适的，却也是可以利用现有护士的networking和技能，作为career progress的另一个方向吧

hxsh2000

了解一个职业和职位，可以多关注这些职业和职位的人们，都在关注和说着什么事情，多交流和请教这些职业和职位的关注点和如何才能做好这些职业和职位。

而且市场上，也都有很多的人们分享甚至出书讲解这些想达到的或者称为的职业和职位。刚在Amazon订了四本书，更多的了解和理解Chief Data Officer的细节，增加更多的理论补充，然后在工作中和交流时更多关注这个职位。四本书都是2020年以后出版的，更适合数据领域里不断的推陈出新的更新。

《Chief Data & Analytics Officer Journal, CDAO Notebook, Executive & Leadership Journal, Office Writing Notebook, Daily Notes & Action Items Notebook》
《The CDO Journey: Insights and Advice for Data Leaders》
《The Chief Data Officer Management Handbook: Set Up and Run an Organization's Data Supply Chain》
《Fail Fast, Learn Faster: Lessons in Data-Driven Leadership in an Age of Disruption, Big Data, and AI》

hxsh2000

十天的假期结束了，明天恢复正常，开始上班看看2022年的机遇吧

运筹小子

hxsh2000 发表于 2022-1-4 00:01
十天的假期结束了，明天恢复正常，开始上班看看2022年的机遇吧

有个2021年的工作分享评选，觉得帖子 ...

已投。楼主的付出值得vote！！

hxsh2000

运筹小子 发表于 2022-1-4 08:15
已投。楼主的付出值得vote！！

非常感谢支持哈{:12_794:}

hxsh2000

讲讲现在非常流行的整个数据团队的构架，这里指centralised data and analytics team，一般在group level集团公司层面，把很多各个子公司和不同部门的数据分析开发能力的权力，收集起来后的专有团队。大家可以根据自己的知识，经验和向往的方向，找找自己的位置

第一层级，高管：Chief Data and Analytics Officer，一般会管理两个到三个团队，Head of Data Operations / Practice；Head of Data Science / Advanced Analytics，以及Head of Data Transformation

第二层级，中层管理：
1. Head of Data Operations / Practice：会有几个团队，包括Data Engineering Manager，Data Analyst Manager，Major Projects Manager for Data Migration，Data Governance Manager，以及会有一些Business Analyst, Project Manager。这个职位是传统数据分析和开发的集中后的团队
2. Head of Data Scientist / Advanced Analytics：也会有几个团队，包括Advanced Analytics Manager，Data Scientist Manager，Digital Analytics manager，Customer Analytics Manager等等，这块不是我非常熟悉的领域，大家可以补充
3. Head of Data Transformation：Data Strategy Manager，Data Culture Manager，Transformation Manager等等

hxsh2000

报了一月二十二号周六考DP-203 Data Engineering on Microsoft Azure，$165 USD。不知道为什么，到check out的时候，居然显示100% discount，为公司省了一小笔钱哈

感觉学习基础技术的热情还是在消退中，报个考试boost一下

hxsh2000

经理以及以上的职位，与Lead等职位，最大的区别，就是拥有预算，以及可以掌握和调配这些资源的权限。

每年的预算季，经理，特别是Director, Senior Manager，非常多的关注点，都会在build up business cases and get the proposed budget approved这些事情上面。特别在数据等比较新的领域，新的团队能不能做得了事情，能够做多少事情，都取决于如何和各部门和高层打交道，让做出来的business cases得到各方的认可，然后争取到充足的预算，招兵买马在来年多出成绩。

在整个公司的构架中，要拥有足够的话语权和影响力，常常取决于你掌握了多少资源，而有了足够的资源才能做更多的事情，职位的高低，以及更加重要的，你认识了谁和在高层那里的影响力等

mendietaczfls

hxsh2000 发表于 2022-1-5 20:29
经理以及以上的职位，与Lead等职位，最大的区别，就是拥有预算，以及可以掌握和调配这些资源的权限。

每年 ...

好奇问楼主一个问题，楼主的工作经验丰富，现在也做到了一个管理层的位置，表达能力强而且思路清晰。想问楼主在工作生涯中有没有过创业，或者有过创业的打算，是否在工作中曾经发现过商机，而且后来被验证可行。我有这个疑问是因为，好奇在楼主这个职位高度时候是不是更容易看到B2B的创业机会。楼主是我在职场看齐的榜样，所以想听一下你的想法。做一个科技创业是我的终极目标，但是感觉自己看到market fit的能力或眼光还不太行；同时想在职场往上走也需要时间，运气，和更多的精力，想听听楼主的建议。

heyaoxiang

楼主牛逼，我再此Mark一下。值得学习和借鉴。

hxsh2000

mendietaczfls 发表于 2022-1-6 00:26
好奇问楼主一个问题，楼主的工作经验丰富，现在也做到了一个管理层的位置，表达能力强而且思路清晰。想问 ...

小伙子有这种雄心和抱负，非常的好，大赞

曾经有想过创业吧，特别是有娃儿之前，现在小朋友还小，还得经常陪小孩子玩和学习新东西，没办法有那么多时间。而且我一直的目标也是，要职业上达到GM/Head的职位后，才去做其他的。曾经在十几年前分众刚出来不久，有想过在澳洲做分众类型的；之后就一直有在关注养老院的经营和管理方面的机会。我如果创业，更喜欢的还是依托我现有的优势，特别是行业或者知识，尤其是人脉，包括客户和技术资源，来做相关的产业。你也可以看到我是很习惯发现和依靠强项的关联性，找出差异化并且打造自己的优势的

我也有很大的弱点，就是没办法长时间的关注和维持热情，是靠着每一样新东西或者事务的吸引性，短时间内靠着兴趣，专注和热情来做好的。而且一旦达到一定的成绩并且没有更近一步的发展前景的时候，比较容易转移兴趣。所以在以前，在我做的非常好的时候或者有比较好的成绩的阶段，都是有很好的朋友一起，他/她们是行业内的比较强的人，而我进入后添加近更多的动力和热情，不停的尝试和合作做新的事情或者他/她们不太会去尝试的东西，然后大家相互的提高。

B2B的机会，是指哪一方面呢？我认为更多的是在美国和中国，特别是可以辐射到大部分国家的领域，才比较有可能做出成绩的。这个在2000~2010的时间段火过一阵子，当时澳洲有不少大小企业都有投入资金，想整合起来做各种商务平台，打通整个供应链。最后市场有点太小，而且这边的两大超市和零售集团比较垄断，最终是各个公司都依托大公司，做出自己的供应链的平台和系统而已。也许你说的是另一些B2B方面，可以说说吗？最近几年，我在能源业待的时间比较长，所以B2B这块没有很多的涉及

如果打算创业，多待在咨询公司会有很大的帮助。如果以你为主的创业，那么去管理咨询去了解和理解整个行业的痛点，并且知道前沿的解决方案，会很适合；如果是以技术类加入团队创业的，那么去可以接触到各种新技术的技术咨询，多做设计和实施，会有很大的帮助

hxsh2000

最近在整个能源业，包括distributor & retailer，挺有意思的一个趋势。就是澳洲的企业，在满世界的引进新的系统或者分析模块，通过收购公司股份或者直接出钱找咨询，来充实整个管理体系和提高管理和分析效率。澳洲这块由于市场小而且这方面的发展相对落后一些，且负荷没有特别高，所以发展略微缓慢了些，所以引进新的能源管理体系和operating model，变得比较的有效率，而领头者更可能得到使用新技术的红利和提高回报率。

hxsh2000

Health and Insurance data & analytics trends:

《Big Data & You: A Guide to Data Analytics in the Health Insurance Industry》：https://global.hitachi-solutions ... in-health-insurance

《Data Science in Insurance - Opportunities in Insurance Data Science》：https://www.mastersindatascience.org/industry/insurance/

dryb

mark

dryb

mark

hxsh2000

设计和管理一个团队，需要根据管理的范围和权限，要达成的目标，针对性的总结整个团队需要的知识，经验，技能和软实力。根据给予的预算，尽可能的把所有需要的涵盖其中，并且尽量的让技能和软实力有一定的扩展性。因为预算和资源的限制，在开始建立整个团队的时候，往往无法十全十美，于是只能通过设计不同的职位，拥有不同的技能和软实力，以及不同的经验，互为补充。

又可以回到一年前的这个图，现在管理的是整个data engineering & data analyst，也就是data operations / practice的核心团队。这样的团队，需要的skillset如下：

Data Engineering Team:
Data Platform: good to have as it helps to facilitate to communicate with IT / Data platform team
Data Engineering: must have, core skill
Data Analyst: good to have as it helps to facilitate to communicate with Data analyst team

Data Analyst Team:
Data Engineering: good to have as it helps to facilitate to communicate with Data Engineering team; effective to use the platform to build up the data ingestion and ETL if required
Data Analyst: must have, core skill
Business Analyst: good to have as it helps to facilitate to communicate effectively with business teams

作为一个group level的团队并且提供数据服务给整个公司，于是除了公司的行业经验外，整个团队还需要有涵盖公司里面基本业务以及各个部门的基本商业知识，比如sales & marketing; corporate including finance, safety, hr; operational or logistics等等

另一方面，软实力方面，也要做好在数据这种偏技术的方面，要有比较技术型的，可以有很强的能力自己做研究找出解决方案的，也要有团队成员做好沟通和协调的。

而由于现在市场上，数据方面的人才和资源比较的缺乏，使得按现在的预算不一定能够招到预定中的团队成员，所以在定好主要的方向后，需要不停的调整和确定不同的组合来尽可能的包含以上所需。

hxsh2000

其实对于最高层来说，最好的方法就是用最少的资源做最多的事情，拿到更好的结果。于是在数据分析而且在集成到主要的数据团队做开发一个方向上，因为中心化的开发团队，特别是在稀缺资源导致的人员费用加大的时候，开发费用常常是因为多个点上的交流，并且缺乏整体的方向的负责人，亦或者负责人也不是那种愿意努力的控制费用的时候，经常性的开发费用会无法控制，并且大大的超过预算。就比如之前管理的两个大的报表，其中一个是360度的分析商业用户的模型的，原本预算两个顾问做半年能把结果做出来，在我进去的时候，已经九个月了还没有做到一半，不得不缩减费用成一个人开发，却完全没有什么人在负责推进和限期完成。

于是很容易的，高层就会想到要多用现有的业务上面的资源，来帮助开发团队，在费用上和效率上来说，会有很大的优势。于是self-service的模式深入人心，在现阶段的招聘中，往往会提到要有很好的做过self-service模式的经验。Self-service，在核心上面，就是尽量把传统的每个部门管理自己数据，并且负责数据开发的end to end development，把其中的data engineering和一部分前端的data anlyst方面的开发，尽可能的放到数据团队里面。这样做的好处是可以规范话data source, data assets, ETL等等，然后提供这些data assets给与每个部门做再开发。于是规范化相对于传统的模式，有了很好的数据质量上的提高，并且得以整合；另一方面，也可以大大的减少开发费用，熟悉数据的business SMEs也可以在一定范围内，快速的做出想要的结果。

hxsh2000

刚看了俄罗斯方块的2021年总决赛《TETRIS WORLD CHAMPIONSHIP 2021 FINAL - Dog vs. Huff - Classic Tetris Final Match》：https://www.youtube.com/watch?v=d_HcmEMlwS4，感慨小朋友们的潜力和可塑性之强，在这些很少需要用到身体能力，并且靠反应和操作的领域，已经没有了大人们可以参与的机会了。从2017年都是大人的参赛者，到现在全是小朋友们，改变的太快了。

IT和数据领域，特别是更加新兴的方向，也是这种情况。大人们只有在新方向还有跟以前的领域沾边的或者有关联的地方，继续依靠经验和兼容性，占据着有利的位置。然而在那些发展极快，且新的领域和概念的地方，已经全是年轻人的天下了。

大家都可以举例子，说身边还是有很多五十，六十岁的，很厉害的专家仍然在这些领域里。然而，由于幸存者偏差，这些专家还活跃着的原因，要么不停的学习新的技术和提高能力，要么很久以前进入的领域刚好没有经历大的转变，一直能够持续到现在。而那些原本运气使然没有站在之后主流的方向的，或者四五十岁后无法赶上新技术的更新的，都已经没有多少机会了。而且即使跟上了节奏的，很多也都是明显的过了黄金时期的，完全知道和清楚没有职业晋升的机会的，

hxsh2000

前段时间招人，数据开发的职位，平均只能收到25个应聘者，其中能达到mid to senior经验的不超过八位，要有在group level做过数据开发的会少于三位。我对于整个公司层面做过数据开发的这一点非常看重，因为只有在group level做过的DA，能够比较好的协调和各个不同业务部门的关系和优先级，并且有能够提供两个到三个部门数据开发的业务经验。而很多的应聘者，是在单个业务部门甚至业务团队里里，给业务部门做各种ad hoc数据开发的，从开发的管理，开发的流程，开发效率，相比在group level专门的数据开发团队，做过的培养出来的习惯，有些许的不同。而更重要的是，对于标准化流程和整个新的数据趋势和数据质量的概念，处于数据库管理系统的时代，而非如今的云计算的统一数据平台时代

hxsh2000

挺有意思的一篇HBR文章《When Passion Leads to Burnout》：https://hbr.org/2019/07/when-pas ... tpcc=orgsocial_edit

hxsh2000

今天上班的重要事情，就是希望各组的同事能在长假期后，能健健康康的