系统的学习Data & Analytics

bbjvc

sunjiayi 发表于 2022-6-29 10:30
报告只是作为决策支持用的，当然不是直接产出，老板拍板的时候作为参考之一而已。但engineer的data wareh ...

一切数据的归宿就是信息，你和我说作为信息的报告不是产出，数据才是？

除了直接卖data/BI solution 的企业，报告都是比pipeline和数据库更靠近终端。

另外BA怎么就是嘴炮了，不少BA只会嘴炮和BA只靠嘴炮是两个概念好伐。作为一个深受嘴炮BA的之苦的BI Dev我充分了解缺少水平在线的BA给项目进推进带来多大阻碍，你别跟我说为啥不找个会自己做Gap Analysis，会自己training自己的SME，那我为啥不找个自己会编程，懂QA的SME连开发都省了。

sunjiayi

bbjvc 发表于 2022-6-30 12:25
一切数据的归宿就是信息，你和我说作为信息的报告不是产出，数据才是？

除了直接卖data/BI solution 的 ...

你终于说对了一点，经过整合后的数据才是真正的产出。
而报告，特别是对具体数据进行分析的报告那是业务部门做的事情。报告需要业务方面的知识甚至一些主观的见解在里面，所以我说那个活更加嘴炮一些。
bi dev应属于data engineer一类，职责是整合不同来源数据进行相应的汇总分类及处理等等。
我见有些bi专业能力一般，成天把时间花在分析报告的话并给business看提供这样那样的个人见解。那种人确实需要点危机感。
你如果连你的sme都无法顺利沟通……我只能说多半是他不行

hxsh2000

这么快就休息了两个月时间了，把之前好几年的压力和不安定，和越积累越多的不停的向上走到停不下来的状态，给卸下来了很多。不管工作的申请，不用改简历和准备面试等等。之前不断的适应新技术领域，不断的适应新工作和新行业，不断的在新工作中建立新的工作关系等，都耗费巨大。也在这两个月时间内停滞了，不需要思考了。真舒服哈

新工作也要在两周后开始了，这次的状态虽然还没有很在线，却也没有了之前的负担，好好的开始新的旅程。

旧手迹

hxsh2000 发表于 2022-6-30 10:09
接下来一段时间，如果是经济开始走向不好的方向的话，那么纯管理的特别是新进入公司还没有适应的中层管理， ...

"对外宣传时特别有用" 对的, 数据有时是被用于政治的。我听说过有搞数据的被当成替罪羊的. 髙管已经决策在先,让搞数据的作出对决策有利的数据。有人实事求是说做不出来, 结果没了工作。

hxsh2000

这个世界终于在美联储不得不回收之前十三年的巨量流动性，以及超低利率的不正常运行状态下，稍微看到要慢慢的回归原有的历史轨迹的可能性了。虽然道路肯定会很曲折，过程也会经历很多痛苦，可在这个不正常的状态中运行久了，会越来越习惯以及觉得本该如此，这会给予这个社会畸形的回报以及只有极少数人收益。

回归正常吧，这样子各个行业，各个职业，才会有更多的机会，回到更多人收益的状态。

旧手迹

sunjiayi 发表于 2022-6-29 10:30
报告只是作为决策支持用的，当然不是直接产出，老板拍板的时候作为参考之一而已。但engineer的data wareh ...

有道理。像covid , 不同政见的政客既可以找个传染病专家给自己的政见背书，也可以找个统计，数据工作者出来站台

hxsh2000

对于想进入数据分析领域的朋友们，如果正在学习中并且打算进入这个行当的话，那么接下来的三个月到半年的窗口，还是要好好抓住。减少一些练好内功等学好了再找相关工作的想法，尽量以更好的准备简历和面试为目标找到工作先。很多时候，不趁着市场还很热的时候转行，那么之后想进入卡位，有时候难度就会大很多的。

而转行数据科学方向，非科班的朋友们，也许需要慎重点了。这块之前一直倡导和作为楷模的Amazon, Netflix等，股票都跌的不成样子。这也会打击很多拿这些公司的成功案例来向传统行业的高层，推进数据科学以及机器学习的作用和进程。毕竟之前无论媒体，学术，市场都在宣传这些公司的成功，以及以数据科学和机器学习等AI为核心技术来达到这些公司的成功。现在股票表现这么不好，以这些成功案例来向高层要预算和资金来推行这些项目，会更加的难一些了。

hxsh2000

《What is data management? Infographic video》About DAMA version 1

hxsh2000

《Data Quality and Risk Assessment》Executive summary on the assessment by DAMA Australia, Canberra Branch

hxsh2000

跟随趋势，哪里是未来的大的发展方向，那么那里就会有足够的预算，也就会有大的项目。绿能以及电网升级在能源领域，在未来的多年，都还是会有足够的基建以及预算投入的。

《2022 Electrical Grid Tech Trends: Drones, AI, and More》：
https://energycentral.com/c/pip/ ... -drones-ai-and-more

《Smart Grid Trend Report 2022》：
https://safegrid.io/smart-grid-trend-report-2022/

hxsh2000

还有一周就上班了，中间还是休息了好一阵子的，有超过两个月了。

大部头《DAMA-DMBOK》实在是太厚了，看不下去。买了本《Navigating The Labyrinth - an executive guide to data management》的浓缩版本先看起来，也是DAMA International出版的，不到两百页。

hxsh2000

结合DAMA以及我自己的之前经验，觉得在一个集团公司里面或者在Enterprise层面，数据和分析的部门构架：

1. Data Platform: including data platform manager, data architect, DBA, data security etc (technical in IT team)
这块偏技术化的以及数据/分析平台的架构，一直以来都是归于IT部门的，且和IT部门的联系依旧非常紧密，比如Infrastructure / cloud, enterprise architect等方面的，都需要成为这些的下辖部门，才能更好的让IT能够统一技术构架。于是以上职位还是会放在IT部门的管辖下，和数据分析部门的Data Engineer等紧密的合作

2. Data Team 数据和分析部门的主要构架和设置 (data in data team)
Data Operations: Data Analyst, Data Engineer, BI Specialist
Data Governance: Data Governance Manager/Lead, Data Steward
Advanced Analytics: Data Scientist, Data Engineer
Support: Project Manager, Business Analyst, Agile Mentor
Optional: Data Strategy, Data Security/Compliance

3. Data Owner / Business Data Custodian (reporting in business team)
Performance & Insights Analyst: for finance, operations, sales and marketing, innovation and sustainability, supply chain, HR......

hxsh2000

《Navigating The Labyrinth》

"
Chapter 12 What to do now concludes the book with an approach to re-directing your organisation's data management practices through a current state assessment, a defined road map, and a commitment to organisational change management.

...... DAMA hopes that by navigating the labyrinth of data management, you can develop opportunities for your organisation to get more value from its data.  This book will explain the fundamentals and help you understand why they are important, so you can focus attention on how to build trust in your organisation's data through efficient and effective practices.
"

yuyuigg

Pippa 发表于 2021-1-31 12:05
我们公司的关键运营部门都在培养自己的数据分析专家，这些同事都有多年本部工作经验，对相关数据，系统和 ...

前辈好哦！我目前就是这样被公司选出来培养的数据分析人员，但是目前工作好痛苦完全不知道方向，特别想和大家求教
(monkey31)

我以前是在公司业务部门做Business Manager的，对业务和模式非常熟悉。但是我们跑业务都要出差蛮远的，还要到现场安装设备，我是女性刚生完孩子体力没办法从事这种重体力劳动了，所以今年和上级申请换到了后台support。

本来想去marketing team的但是没有位置。然后高层们可能觉得我比较年轻好学，就让我去做 commercial analyst，开始负责各种report，我本身是就是学marketing的非常喜欢和人沟通打交道。 做了多年sales/marketing 这方面的经验技术我都蛮有信心的，但是完全没有Finance的经验，也别提IT /编程/数据库了。

而且很不幸的是我们公司前几年把IT 外包了，现在连电脑坏了都是海外来个电话指导让自己修，并且最近又把Finance Team外包了，10多个特别负责能干活的同事全走了，只留了一个head of Finance。 她基本WFH忙的要死，连每月最基本的财务数据都要我不停地催她才发给我，更别说给我解释数据的意义了，看到她的表连经常连headline都没有，或者全部是缩写都不知道是什么意思。

还有个operation team同事帮忙但他也比我强不了多少，看了他做出来的report数字都对不上简直令我抓狂。简而言之，就是公司完全没有数据相关的team，高层年纪也比较大，们也不知道自己想要什么就是觉得这块挺新潮，而且finance team没有了需要个人做最基本的report就抓我过来了。还给我提了很多要优化report，优化CRM等的要求。这个职位之前招了个刚毕业学IT的小男孩来做，虽然没有共事过不过他非常聪明而且听同事说技术很厉害，只是他不太了解我们的业务，结果做了半年多人家买的比特币大涨，财务自由就辞职了。(monkey23) 然后就一直空缺没人干。

我在网上找了些课程正好最近翻到了这个帖子。觉得其实Data & Analytics还是挺有意思的，只是目前我在的环境完全没有前辈带，也没有同事support，我自己也很坦诚每次交report都告诉team leader我不懂那块地方需要training ，但是我领导也不懂这块到底要干嘛，只是说让我自己网上找找教程去学习下，公司可以给我报销。

目前对职业发展非常迷茫。看了Lz的帖子觉得要学的东西是我完全不了解的而且自己也没有优势。每天上班跟上坟一样，我都在考虑跳槽了，求建议~

(monkey37)

Pippa

yuyuigg 发表于 2022-7-11 09:54
前辈好哦！我目前就是这样被公司选出来培养的数据分析人员，但是目前工作好痛苦完全不知道方向，特别想和 ...

这个……我不是楼主啊。感觉楼主能给你更好的建议。我读了你的发言，有几点感觉：

1，你公司没有明确的数据分析、报告目标，纯粹让你自己来。这样情况下，你辛苦得出的成果很难得到认同
2，你公司愿意给钱给时间你去学习新技能。这个是很大的优势，希望你好好利用，给自己增值。技能方面有很多课程，但主要是你首先要知道自己想提升什么。另外，如果公司没有购买这样的软件，你技术再厉害也没有机会发挥。所以我建议首先去了解一下公司有什么软件可以利用的，再考虑提升技能的问题

yuyuigg

Pippa 发表于 2022-7-11 10:18
这个……我不是楼主啊。感觉楼主能给你更好的建议。我读了你的发言，有几点感觉：

1，你公司没有明确的 ...

感谢感谢！

1. 说的太对了，这块业务其实根本没人懂所以也谈不上重视，我们是传统行业，高层真的年纪大了（感觉都在50-60岁），我也约谈过head们问他们的需求，他们也没时间认真看。

2. 嗯关于软件我去找别的部门问了问，还真有一个系统，似乎可以从它导出我需要的各种数据。但是公司里因为Finance team被裁掉了导致本土竟然没有一个人可以access这个系统。我得去问问别的国家team看看能不能拿到权限进去学习学习，让我的工作轻松点。

3.技能提升的问题， 谢谢你提醒！我认真读了这个帖子也在网上看看其他教程，我觉得专精做Data & Analytics这块真的不适合自己，我有自己的优势和家庭规划，不能因为公司架构更改就被牵着鼻子走，已经下定决心和公司说拜拜啦~(monkey22)

yuyuigg

hxsh2000 发表于 2021-4-11 11:29
挺有意思的一个话题，想起来了《肖申克的救赎》中不停提到的“体制化(Institutional)"，其实在大公司中（半 ...

哈哈，这段非常同意了，我现在就是在这样福利好，体制内的大公司成为经理级别，身边同事一做就是10多年，大家不停的换team换项目。

不过这个要看人，work life balance，如果没有那么多精力搞学习搞事业，或者家里很多事情（ 尤其当了妈以后深有体会，和带娃比，去上班就是休息啊）这种公司还挺舒服的。

谢谢你写这么多！分都加完啦，看完之后很有启发，让我决定趁着年轻再折腾折腾，要发挥自己的优势和主观能动性而不是被体制固化

我的上帝

以前数据治理其实就是一个普通活，说白了就跟字典一样，基本的数据标准总得有吧。
现在都要搞数字化转型，governance就火起来了。很多企业的实际情况一看，数据零散分部在不同地方，财务业务没有打通，没有一个统一的数据平台。那搞转型之前还是得先做数据治理才行，咨询公司又有钱赚了。

我的上帝

数据问题主要还是一个管理问题，得看管理层怎么操作，钱花了但是没有效果的也不少。

hxsh2000

开始了新工作，见了各个部门相关的头头们，业务方面聊聊对于数据分析方面的期望值，技术方面聊聊相应的技术方向和背景，还有了解各个已经开始或即将开始的相关数据分析的项目。

总体的感觉是，在Operational reporting方面，并且在data quality management including data definition / specification and stewardship方面，都做的不错，至少已经持续做了两年。并且某些个具体的方向里面，在analytics以及advanced analytics领域，也是业界非常领先的，超赞。可在enterprise data and analytics方面，还是没有相应的，统一的ownership and understanding，并且开始的各个项目其实都是可以关联到一起，相互在一个big picture里面做到相互协调和支持，达到更好的统一效果。

先开始做一个之前就已经拿到预算但没有任何推进的项目，就是建立起data architecture management的体系，了解现有的数据架构，并且提出建议。同时开始着手起草和确定data strategy，并且开始筹划建立起data governance的管理体系，并且做出未来实施数据治理的步骤和计划。

hxsh2000

正如楼上的一位朋友说的，在随着大数据越来越普及，数据资产概念越来越深入人心，如何更好的集成和利用好数据，变得越来越重要，也是各个公司可以拿到很多预算进行投资的领域。

然而正是由于新的概念和新的模式，使得公司里面原有的组织架构，无法很好的支持这种转型。毕竟要么IT的数据分析团队以IT management & development & delivery的完全技术型导向，或者要么Business里面的数据分析团队的，分散化且各管各的结果型导向，都很难可以建立起一套打通各个部门和领域，横向的很好的实施这种转型的数据分析体系

然而恰恰于此，数据治理Data Governance以及Enterprise Data Platform变得越来越重要，并且成为很多公司一说到要解决以上提到的问题并支持整个体系的转型，就会觉得这一块就可以很好的且有效的解决。进而呢，就是如何能够更好的支持甚至帮助公司实现这种Data Governance的架构呢，也就顺理成章的得到很多咨询公司的建议，实施和使用Data Governance的工具。于是很多公司里面，在还没有设计好Data Governance Framework，明确Data Architecture的时候，就早早的开始投入上马这些软件，比如Alation, Collibra, Purview等等。而在实施之后，才发觉并没什么不同，毕竟在没有明确的管理体系的支持下，这些复杂的软件除了难以维护，还很快的就成为另一个并没有非常实用性的负担。

而为什么会这样呢？恰恰就是因为IT部门本身擅长的就是实施和管理系统，平台和软件。而数据分析，Data Governance的本身，却恰恰需要集合多部门的合作和职能地位以及管理的。其实软件和平台，都是支持公司以实现要具体的目标的，进而帮助达到Vision。

hxsh2000

每个行业都有每个行业的数据分析的需求，也有数据分析管理和开发的特有部分。

以前因为处于数据开发团队，并且管理着数据分析以及数据工程，虽然也参与了数据战略的制定，却也仅仅把自己的眼界局限在了数据分析这个全开发周期之中的。

新的工作又涉及到了更多的一些很有意思的部分，且慢慢的参与进去，先说说以下的一部分吧：

Data Management Lifecycle Pre:

1. Data Collection / Data Capture / Data Creation:

很多时候，数据分析的起点就是这里。数据团队对这块的理解，也就是在数据开发的时候，需要从哪些系统和平台拿到什么数据，放到数据库(cloud or on-premise)来进行使用和开发。

然而很多时候，这一块虽然涉及到数据开发，却也与各个系统如何拿到数据，并且系统间的相互互动并且数据更新有关。界定哪个系统能够取得数据，确定哪些系统间如何传输且更新数据，理解整块数据源的脉络，使用工具记录且监控这些数据在各个系统和平台是否吻合，成为Data Quality Management的很重要的一块核心任务。

更有意思的一部分呢，是系统以外的一些核心步骤，比如各种各样的业务，流程，资产，需要些什么重要的数据点，才能够更好的做出数据分析呢。在这个新能源和智能电网的时代，需要什么数据才能为未来提供决策支持呢。进而在这个领域，整个产业的best practice是什么，需要什么信息和数据点才能够更好的管理这些新的交战以及抓住这些新的机遇呢。

Scorpion66

真是好帖

Scorpion66

正好要开始学习相关的知识，感谢楼主分享经验

元大贝

感谢楼主分享。

刚接到一份政府方面Data governance的初级职位，部门是刚建立的，也是需要从头开始制定DG的framework。 我的职责是协调支持implementation of data governance 和data quality guideline以及维护各类register of data assets和control libraries 等比较多documentation的任务。

看了楼主之前的分享， 收获非常大。我还在犹豫是否要接受，因为看工作内容似乎更偏向收集requirement准备各类文档的文职。

若能指点一二，非常感激

hxsh2000

yuyuigg 发表于 2022-7-14 10:44
感谢感谢！

1. 说的太对了，这块业务其实根本没人懂所以也谈不上重视，我们是传统行业，高层真的年纪大 ...

能确定自己喜欢什么，和不太喜欢什么，是最好的。其实从这方面入手，根据自己的喜好，做出来的决定才最适合自己。看来你已经确信了，非常的好

如果可以的话，在公司内部找找其他机会也挺好的，毕竟按你自己说的公司各方面都很不错，应该也有其他的机会的，特别是在现阶段到处缺人的时候。毕竟出来了，即使找到很不错的工作，也总得适应新的人事和环境，这方面还是存在风险的。

当然了，如果没有什么机会，又不得不做着不太喜欢甚至不擅长的事情，那么有足够的勇气去追求和坚持自己喜欢的，也非常值得钦佩和鼓励的。现在的市道还很不错，机会也都

hxsh2000

元大贝 发表于 2022-8-9 00:35
感谢楼主分享。

刚接到一份政府方面Data governance的初级职位，部门是刚建立的，也是需要从头开始制定DG ...

既然是初级职位，那么可能性很大的，应该是data quality management在建立起一套data collection/capture/creation的准则和定义后，需要维护这一套体系和系统，所以需要这类的初级职位来维护甚至录入来确保按照设定的规范进行，或许定期做一些报表来确定规范化，也有可能在熟悉了data assets以及合规要求后，可以参与到准则的完善

是否接受这个职位，应该看你自己的背景和职业规划路线吧。比如你如果在其他的方面已经做到一定的级别，那么首先就是接受这种初级的职位，并且汇报给不那么资深的头，是否接受的了？比如是否是为了进入政府，或者数据分析领域，而接受这个职位的？data governance是数据治理，做到一定程度，除了建立framework & policy外，还需要去influence其他来跟进，并按照这一套规则行事，你是否喜欢这种类型？亦或者是看重未来薪资，或者职业发展

data governance现在依旧市场很不错，比如在这个职位上做个一两年，然后用心去了解这一套体系和规范，对自我增值也会非常的快的。毕竟政府里面建立这套体系，那肯定是找了咨询公司花大价钱做出来的，能感受以及有了解这套体系的价值的机会，那么也许以后出来找其他工作，即使仅仅熟悉和了解这套体系建立和操作的核心，也能给新公司带来非常大的价值，自然的职位和薪资也会得到非常好的提升

hxsh2000

DAMA (Data Management Association) 相当于涵盖了整个数据管理的流程。而DAMA Wheel也出现在各种presentation中用于非常直观的说明整个数据管理流程需要包括哪些方面。这给了各个不同的部门间，对应于相应的所处于数据管理之中不同阶段的应用场景，并且有了各自对于数据管理的不同的解释和理解，有非常好的统合以及解释的框架。

对于数据管理的整个流程，business, data, IT都有着各自的理解以及涵盖，也经常性的虽然使用着相同的专有词汇，如data governance, data architecture, data quality management, data operations等等，然后表达的意思以及各自的理解都有着巨大的区别的。在之前的两年，由于在business, data, IT部门都待过，所以非常明显的体会到，各部门对于这部分的沟通距离的差距有多么的巨大，进而互相不理解对方要做什么和要达成什么。

hxsh2000

这里说的是现阶段在新的企业构架体系内，在数据分析团队从之前business或者IT部门独立出来后，整个数据管理的全生命周期分别放在了business, data, IT，各自分管体系内相应的部分。

我在数据分析团队内待的时间最长，又刚好分管过数据团队的开发以及和IT团队确定分管范围，对这块相对来说比较熟悉。对于数据团队来说，DAMA里面包括了DAMA Wheel的全部，然而很多时候，独立出来后的数据分析团队，由于预算以及人力，亦或者skillset的限制，整个涵盖范围局限在了：从各个应用或者系统端开始取得数据，之后这些数据流入到或分离，或中心化的数据库或者数据平台，进行数据开发包括data modelling, data development, data operations management, data quality management等等，进而把这些开发后的产物(Product)支持终端business进行分析，或者数据分析团队进行深化的DS, ML续开发。

所以在数据分析部门谈论Data Governance, Data Architecture等词汇时，绝大部分都指代数据平台以及之前一步的应用数据来源。需要的Data Governance也大部分放在了从源系统拿到数据后的一系列数据管理的步骤，那么相应的Data Architecture也更多的关注于数据分析过程中，如何建立好源数据应用，各个数据平台间的数据分析定义和架构。而Data Quality Management也关注于数据在这个过程中，如何更好的保持统一性以及正确性。

hxsh2000

然后业务Business部门对于数据治理Data Governance, Data Architecture, Data Quality Management却也有着自己的理解，这个也是和业务部门在这个过程中的参与时期和可以影响到的阶段相联系的。

之前讲到的整个数据管理全生命周期来说，数据对于业务部门来说，是前期的与IT应用和系统紧密联系的，数据获取/输入，以及在各种应用和系统中相互的作用，进而影响到数据质量data quality，这个涉及到have the high quality on origin of source；以及后期与数据分析团队的紧密互动的部分，是在数据分析部门开发的各种数据产品后，可以拿到高质量的数据分析结果。

那么在业务部门谈论Data Governance, Data Architecture等词汇时，大部分都指代从数据为进入到企业的各个系统及应用体系之前的data collection，再到这些数据在取得后，如何进入到各个系统以及应用端的data creation，再到之后的数据在各个系统和应用间的data interface。而到这个时刻为止，才开始讨论到对于数据分析团队需要的源数据来源的相关领域。于是Data Governance, Data Architecture，涉及到的也更多的是这个阶段，如何更好的处理和提高源数据的质量。比如拥有完善的定义，对于各类数据分类，并且制定这些数据需要如何定义的meta-data management，各类数据需要哪些信息来能更好的支持分析data specification，在各个应用和系统中间流入流出并且相互更新过程中的data architecture，还有这块数据源的data quality management。

这个时候的data governance，很多时候的指代，是使用ISO的各种标准定义以及管理数据，比如：
ISO 21586：Reference data for financial services
ISO 55001：Asset management
等等