系统的学习Data & Analytics

hxsh2000

其实我一直需要的是什么，或者在工作中最重视的是什么呢？那么应该就是得到高层的授权，取得高层的信任，然后去统筹和计划实施我的一整套理论和方案。而在大学混学生会的时候，当时学生会会长对我的评价，就是每次我去与他们交流和沟通，都是为了取得更大的权限做事情，去Sales and marketing我认为有价值且有趣的项目。而非如我的好朋友另一个部长那样，去向他们取经学习经验。

昨天主持了第一次数据分析论坛，各个大的部门都派来了代表，并且请来了大老板讲解未来的长远目标和对这个数据分析论坛的期望。当然了，大家重视的也是和大老板的交流，确定战略远景以及如何可能帮自己现在做的数据相关的事情得到支持。

这个期间数次得到大老板的肯定且全力支持，算是确定了在数据分析这个领域，我在这里的全面性的负责和协调。既要参与公司层面数据分析长远战略的设定和资源整合，还有和各个部门打交道，沟通痛点以及近期需要专注的资源和人员投入。而会议前，我是没想到会有这种程度的支持的。之前我都是通过个人和大家打好关系，慢慢的接近和推进进程，这次算是得到真正的mandate了。

士为知己者死。昨天晚上我就和小妞妞说，看来我要被现在的公司暂时套牢了。这种程度的越级支持，非常难以在短期内取得。而既然有机会得到，那么就尽心尽力的推广和推行我的想法，理念和计划吧。

hxsh2000

hxsh2000 发表于 2022-11-16 23:40
在数据分析领域，需要业务部门内部数据的整合，所以需要垂直的合作。而业务，数据以及技术团队，则需要建立 ...

"这期间建议建立了Data User Group，就是业务部门里面资深经理和经理级别的Working Group，作用是促进业务部门里面不同组别的对于数据方面的相互分享，以及相互配合。总之解决传统部门之间各组别的沟通壁垒，让大家拥有通畅的沟通通道相互配合，能够从整体的出发一起合作完成目标

那么另一个方面的，就是业务，数据以及技术部门的横向合作。最起始的点，我认为是让大家能够get alignment, in the same boat，就是identify and assess the gaps。近一个月，特别喜欢很久前看到的一个we know what we know, we know what we don't know, we don't know what we know的assessment model。打算跟各个大部门合作，让业务，数据和技术部门一起讨论数据方面的各方的理解，需求，以及我们正在做什么或者需要做什么。以此可以给与管理层报告，现在大家对于数据分析的理解，存在哪些挑战，以及需要做什么或者重点投入来促进。另外的好处则是，能够提供给各个部门，在数据分析方面，另外的重点参与者，到底是如何想的，以此uplift everyone's knowledge/understanding in order to collaborate with each group to achieve the future state target

正在做研究，看看如何能够更好的做这种workshop，有没有现成的methodology or approach来取得好的信息收集以及结果。"

有了足够的mandate，也建立起来了广泛的有业务部门和数据团队的代表的Data User Group论坛，那么下一步就是和各部门的头头们商量，建立横跨业务，数据以及技术部门的合作了。考虑了一阵子后，如何做这种workshop，找到好的methodology or approach，应该至少不算我擅长的，或者太花时间，下一季度找顾问来做这个事情吧，并且把范围扩大一些，包括各个部门的头头们外，还得加上资深经理这个层级，要不很容易做的太过宽泛，而无可操作层面的结果。

差不多也确定了，我的职位不仅仅重视数据治理这方面的宏观范围，还加入了大量的数据管理的范畴，包括业务部门里面的业务流程来确定收集到足够的核心数据，如何提高数据质量，包括数据部门里面的如何建立起一套可实施以及有效的需求以及开发的流程，如何治理数据从数据源的取得并且在各个数据平台的再开发的跟踪，还有技术部门方面的协调如何标准化各个数据平台以及核心应用程序的架构等。而且有了管理层的支持，我也可以名正言顺的提出需要关注的和实施的，甚至需要提高的各个方面，然后渐渐的和大家一起计划如何协调资源来实施。

这么说吧，我是极少可以横跨业务，数据分析以及技术的，并且可以和整个流程里面的人们，按她/他们的语言进行交流，且可以让大家都认为我是站在她/他们那边或可以接受的人。这样的沟通和交流，可以减少很多业务和数据分析团队相互争取资源的摩擦，因为各自代表不同的利益以能更好得到资源实施自己的优先级；也可以减少数据分析和技术团队对于数据平台以及技术构架领导权的争端，习惯性的对技术追求的矛盾。因为我一直的理念就是overall optimisation，由此而来需要进行利益的交换，把不得不忍让的一些非核心利益或者范围，主动的让出去和核心团队进行交换和合作，然后才有机会共同的制定都可以接受的目标，一起努力巩固双方的合作，并且取得更有效的成果

hxsh2000

其实对于很多人，数据分析就是做executive and actionable insight dashboard reports，与高管团队，各个业务部门的管理团队进行沟通，确定核心的KPIs并且开发出这些报表。

然而，数据分析的涵盖，远远不止于这些。数据质量管理，就能够涵盖非常大的范围，从数据的获得，如何在各个原系统间流转，在dashboard reports这块里面，rubbish in, rubbish out，所以数据质量如何不行，这些报表的可靠性和被可信任性会非常欠缺；在数据分析用以控制各系统的操作的层面，数据的高质量是这个流程中的核心，毕竟自动控制的影响会影响到最终的客户的。所以设置数据质量的拥有权以及责任人，制定数据质量的管理体系包括policy, standard, procedure等，建立数据质量的data quality KPIs以及monitoring report，还有确定哪些是非常重要的以及如何逐步的提高数据质量这些，都成为核心的任务。

Data Quality Metrics:
Completeness
Accuracy
Consistency
Integrity
Timeliness

Data Quality Management:
Policy
Standard
Role and Responsibility
Procedure

hxsh2000

其实吧，对于那些大老板级别的人，很多时候想做的事情，经常性的得不到下属的理解，或者助力得以执行。就比如之前说的，即使到达了部门的头头们的阶段，很多时候都是每个人管理着具体的执行部门和团队，也是从这些具体的部门一步一步的升迁起来的，于是一方面更重视自己部门的利益，另一方面又往往不在乎或者不理解更大更广的蓝图，不愿意参与进去或者帮忙实施。于是经常性的，这些部门的头头们反而会成为抵抗最高层对于这些长期战略甚至蓝图实施的主力，或者无法很好的配合让大家一起合作达到目标。这些目标太远太大太虚，很多时候在操作层面，需要一步一步的做，去积累现实以及动力，也需要在现有的预算规划里面截取一定的比例，用以投入这些大计划里面的。然而有挑战的也是，在日常工作过程中，被减少了预算，那么做起来也会遇到一定的再下一层下属的阻力。

于是这些大计划大蓝图，往往被大家自觉不自觉的，就拖延下来了。而大老板们的KPIs呢，除了管理好现有的以外，能够负责并且实施这些大战略，才能有更好的机会。

hxsh2000

所以在这种自上而下的战略实施，只要你能够深入的理解并且能够展示出能够实施的实力或者潜力，很多时候都能够得到很好的职位，权限，资源以及机会。

而这种方式，恰恰与一般的自下而上的升迁机会有着非常大的不同。

在很多人眼里，好的不得了，并且难以取得的职位。在遇到对的时间点，遇到对的人，有时候并没有想象中的那么难。

hxsh2000

应该开始想想如何开展工作，设立蓝图以及实施计划。明年应该得把roadmap和三到五年的计划做出来，算是大的一个data program

之前更多的在做争取和推广的事情，现在回来想想如何根据现实情况订立可行且可执行的目标。

放假期间努力把DAMA认证给考过去，顺便当做学习的激励

hxsh2000

yzh1999 发表于 2021-11-27 22:52
为什么standardisation不再坚持，是成本还是政治

最近怎么样，有啥好消息不

hxsh2000

这么快就几乎又过了一年，这一年来虽然还在做着data and analytics，然而学习时间大大的减少，也没有那么大的热情把心思放在学新知识上面。更多的都是在研究和争取人事权，主动的被动的卷入各种利益漩涡中。

总是希望能够静下心来好好积累新知识，然而不争取到主导权，就只能跟随其他人的设置的目标，这样对我来说太容易陷入被动，所以只能硬着头顶着上了。而2022年也在这个过程中即将结束，明年也可以好好的专注这块的本身了。

yzh1999

hxsh2000 发表于 2022-12-19 20:14
最近怎么样，有啥好消息不

最近大半年市场非常的无聊。招不到人和企业不上新项目这两个现象居然同时存在

BondStock

码一下，很钦佩楼主

hxsh2000

昨天在聊天中，得到非官方的信息，明年起我的reporting line会按我的之前提议有所改变！在试用期内提这种要求，其实是担了很大的风险，并且承受了很大的压力的

算是今年能得到的最好消息，是个很好的结果了。

hxsh2000

yzh1999 发表于 2022-12-19 20:28
最近大半年市场非常的无聊。招不到人和企业不上新项目这两个现象居然同时存在 ...

是招不到人所以上不了新项目吗

这个部分一旦慢下来，有时候就得等挺长时间的了

yzh1999

hxsh2000 发表于 2022-12-22 12:41
是招不到人所以上不了新项目吗

这个部分一旦慢下来，有时候就得等挺长时间的了 ...

是宏观经济原因，大家都偏保守尽量少花钱。但是即使要维持status quo也是要招人干活的，因为最近一年离职率很高

hxsh2000

最近FTX币圈交易所暴雷，突然记起去年还和一个知名的币圈交易平台的CFO面试过，职位是给这个交易平台计划和实施一个财务管理系统，以能够好好的管理公司的账目

hxsh2000

今年年中在投资理财板块里面说过，每次的股市奔溃，外加之后的衰退，都会伴随着标志性的旗帜大公司的财务造假，因为这个恰恰是击溃所有人心理防线的时刻或者时机。毕竟如果市场不好，或者各个公司们财报不好看，其实大家都知道这种周期性的循环，总有低谷，也终会走回正轨并且迎来之后的高峰。然而财务造假，会让所有在场内的人们，怀疑原本的一切，包括经营，包括财务状况，不仅仅是单个公司或者行业，甚至是整个市场。

FTX, Nikola仅仅是个开始，也只是一个个小咖而已。十几年来，随着市场满地都是easy money，大家都在重视如何玩能够更好的赚更多的钱，风险和财报到底如何，多少人在乎呢？看看这次能爆到什么程度的财务或者报表造假的时候，整个市场才会奔溃吧。我相信一定会有的

hxsh2000

这五个月来，在新工作中的成绩，应该算在给各位大佬们普及数据管理应该包含哪些范畴，以及确定了一些可以在明年实施的，对于大方向有利的项目。而这种统一想法，培育共识的工作，是在官方以及非官方渠道的交流以及沟通过程中，持续的传递出去的。

在整个数据管理的生命周期，以及涵盖范围：
1. Data Architecture, Data Asset, KPI, Visualisation
2. Business, Data, Technology
3. Data Quality, New Data Capture, Report Development, Analytics Development, System Configuration, Training, Process Improvement

这是我最大化了数据分析的结果，能够参与进各个领域中去，然后尽量成为其中的一环，才能尽可能的做到overall optimisation。而这个整个系统性的最优化，而非局部的最优化，是我一直以来都在追求的。而这也使得在每个领域里，我都得尽力的学习其中的知识，以至少能够让自己清楚的知道什么知识和领域的人才，能够帮助我实施这块任务。

另一个方面，这样做的好处呢，是尽量避免和已有的在这个方向上管理的人们的冲突，以能够最大化团结已有的在这个方向上的人们，达到短期内互相支持的机会。毕竟如果新进来的人，专攻某一个领域，然而又可能对已有领域的人们造成威胁时，这种时候会非常的被动，不利于开展新工作。特别是在我现在的职位架构中，职位不高，定位不清晰，又没有确定的支持来源的情况下。

cctv101

很钦佩楼主

hxsh2000

把年末的Azure Data Engineer考试又给推迟到明年四月了，这个考试现在不需要用到。而没有需要用到的，很难花心思好好准备，只能继续推迟中

还是把精力投入到DAMA数据治理的学习中，花了四百八十澳刀注册了DAMA CDMP的基础考试(CDMP考试链接https://cdmp.info/exams/)，在假期结束前的一月上旬考完。这个两周的假期抽点时间看完书，然后考个试。

yzh1999

hxsh2000 发表于 2022-12-26 20:01
把年末的Azure Data Engineer考试又给推迟到明年四月了，这个考试现在不需要用到。而没有需要用到的，很难 ...

加油。specialist准备选哪两个？

hxsh2000

yzh1999 发表于 2022-12-26 20:17
加油。specialist准备选哪两个？

谢谢哈，会选data governance，另外在data architecture和data quality两项选一项。data architecture是我看了的，还比较熟悉，data quality是我比较有兴趣，接下来需要做的

hxsh2000

看来现在关注的事情，还是暂时放在了还没有完成的半程铁人赛。去练习游泳的干劲还是大大的超过学习数据分析新知识的劲头。而这些事情的关注度，也非我自己能够影响到的，一个计划好了的事情，非常希望能够好好的完成，无论是否有受益，无论是否有好处。就是定好了目标，想好好的做完做好！

hxsh2000

真的感觉回到了十年前，一二年七月入职，入职后几个月开始转移注意力，从之前的努力工作且拿到更好的offer，到了一三年开始，变成了吃喝玩乐且享受生活。

这次是二二年七月入职，到了二三年，今年我的新年最想完成的事情中，居然没有工作或者学习的目标了，都是半铁，马拉松，去无人区穿越，去之前一直想去但没去成的餐馆吃饭，和娃儿一起玩耍等等。

感觉上这十年，又是一个轮回。而人往往都有自己的pattern，在哪里倒下，那么下一次还会以相似的方式磕到；在哪里起来，那么下一次还是会以相似的方式升起。

这种pattern能被打破吗？不太清楚，因为我已经感觉到，现阶段我自己的学习热情已经所剩无几，更关注的也是职位和如何获得资源来实现预定目标的事情，而这些并不能通过学习数据分析的具体知识点而得到的。

而这个帖子，也已经在很久前，就转向到不那么涵盖学习数据分析的知识和应用上了。

maomao0418

hxsh2000 发表于 2023-1-11 07:36
真的感觉回到了十年前，一二年七月入职，入职后几个月开始转移注意力，从之前的努力工作且拿到更好的offer ...

刚好最近也在思考这个问题，自己的生活除了按部就班的上班，考CPA，闲下来的时候读读心理学方面的书，看看电视。

感觉似乎是不是过得太悠闲了呐？新一年是不是要卯足劲往上冲一下，换个新工作，有个新挑战，还是说横向扩展一下，增加一些人生体验，比如去做一

些活动的志愿者，去参观一些展览，去参加一些徒步看看山水？

是使劲一门心思去拼，还是说活在当下体验当中，是个很纠结的点。

hxsh2000

maomao0418 发表于 2023-1-11 20:37
刚好最近也在思考这个问题，自己的生活除了按部就班的上班，考CPA，闲下来的时候读读心理学方面的书，看 ...

都挺好的啊，想做就去做，想多了或者计划多了，可能拖着拖着就妥协了

hxsh2000

努力了拿到了预算，今年找顾问公司，做整个数据治理的蓝图和三年计划

也在整个公司层面上，把我自己做的数据治理，渐渐的找到了机会，可能有一定的机会，直接在公司层面上进行推进。因为这一块，整个关注和框架，只有我一个人在做而已

也会和IT部门一起，共同做一个包含business, data, technology的数据战略，把之前分散的各个数据战略，统合起来

hxsh2000

现在越来越感兴趣大方向上的行业知识以及前景，现在对于数据分析的具体知识已经没有如刚开帖时的兴趣了，更喜欢知道行业前沿和趋势，掌握和了解如何依靠数据和分析来支持行业的发展动向。就找这一方面的课程来学习学习。

Enroll了EDX上面帝国理工学院提供的系列课程《Clean Power》，包括三门课：
《Why Move Towards Cleaner Power》
《Creating a Pro-Renewables Environment》
《Incorporating Renewable Energy in Electricity Grids》

hxsh2000

这两天在往上联系了private english tutor，跟之前计划的一样，打算多交流交流如何提高沟通的技巧和能力。最重要的挑战还是在，东方和西方的思维方式和表达的逻辑方式有所不同，所以在需要简洁以及重点的沟通交流时，往往没有很好的把握住极短的时间内说清楚重点和事情。打算更好的了解西方沟通交流的底层逻辑，以及如何更好的表达好这种沟通和交流的需求。

这些应该会涉及到语言组织的前后顺序，叙事的结构，如何更好的切入要点，并且叙事时强调的重点和语调，以及停顿。下周一试课，希望这位资深tutor/mentor可以从这几个方面帮忙。

hxsh2000

Business Glossary作为标准化的一部分，是非常重要的，也是可以帮助统一和标准化业务语言和定义，也是数据治理里面的一个核心环节！

Business Glossary是和Data Dictionary, Data Catalogue，有着不同的方向和逻辑的。所以对于Data Governance，这些都是需要实施并且一步一步建立起来的！

hxsh2000

开贴两年了，还在坚持着，对我自己来说能在一个方向上坚持这么久，实在是难得。并且开贴以来的三个工作，也都是数据分析方向的，也算是刚刚好遇到了

hxsh2000

最近好的数据分析的相关工作，也在二月初后开始放了出来，有general manager, director, head等级别的，也有一些中介开始积极的介绍这方面的工作了。在犹豫现在离家近并且没有特别忙的舒适状态，并且有时间有精力陪家里人还有孩子，是否有点想改变。