系统的学习Data & Analytics

sunjiayi

bbjvc 发表于 2022-6-27 22:43
要是报告，和data model都不算直接产出的话，那engineer出的pipeline, warehouse, lake/mart不是离产出距 ...

报告只是作为决策支持用的，当然不是直接产出，老板拍板的时候作为参考之一而已。但engineer的data warehouse,model这种可以作为其他系统的输入，所以那是离产生价值的更加接近的。报告只服务有限的几个对象，而且在这个对象眼中这些报告有多少用还得打个问号。
另外ba当然是嘴炮，这个还用讨论吗？？随便找个sme和开发完全就可以跳过ba这个角色。

hxsh2000

接下来一段时间，如果是经济开始走向不好的方向的话，那么纯管理的特别是新进入公司还没有适应的中层管理，会有很大的挑战。当预算开始变得比较紧的时候，这一类型的职位，会成为砍预算和人员的首选。

个人感觉，公司层面的数据和分析部门和项目，如果还没有建立起集中化平台和开发环境，那么经济不好时，这块可能会暂时停止。而数据科学这类职位，在非科技类公司里面，可能会受到传统派的反弹，毕竟数据科学做出来的分析结果，很多时候外加了很多的限制和特殊设置，会使得对外宣传时特别有用，然而在用来指导实践时，常常无法达到目标，由于受制于模型的设置的限制。在市场和经济好的时候，主要看重大家如何做出好看和好宣传的结果，然而当市场和经济不好的时候，主要看重大家如何能够生存好，那么回到可行的并且不用花额外的预算就能运转的，原本的模式，就顺理成章了

bbjvc

sunjiayi 发表于 2022-6-29 10:30
报告只是作为决策支持用的，当然不是直接产出，老板拍板的时候作为参考之一而已。但engineer的data wareh ...

一切数据的归宿就是信息，你和我说作为信息的报告不是产出，数据才是？

除了直接卖data/BI solution 的企业，报告都是比pipeline和数据库更靠近终端。

另外BA怎么就是嘴炮了，不少BA只会嘴炮和BA只靠嘴炮是两个概念好伐。作为一个深受嘴炮BA的之苦的BI Dev我充分了解缺少水平在线的BA给项目进推进带来多大阻碍，你别跟我说为啥不找个会自己做Gap Analysis，会自己training自己的SME，那我为啥不找个自己会编程，懂QA的SME连开发都省了。

sunjiayi

bbjvc 发表于 2022-6-30 12:25
一切数据的归宿就是信息，你和我说作为信息的报告不是产出，数据才是？

除了直接卖data/BI solution 的 ...

你终于说对了一点，经过整合后的数据才是真正的产出。
而报告，特别是对具体数据进行分析的报告那是业务部门做的事情。报告需要业务方面的知识甚至一些主观的见解在里面，所以我说那个活更加嘴炮一些。
bi dev应属于data engineer一类，职责是整合不同来源数据进行相应的汇总分类及处理等等。
我见有些bi专业能力一般，成天把时间花在分析报告的话并给business看提供这样那样的个人见解。那种人确实需要点危机感。
你如果连你的sme都无法顺利沟通……我只能说多半是他不行

hxsh2000

这么快就休息了两个月时间了，把之前好几年的压力和不安定，和越积累越多的不停的向上走到停不下来的状态，给卸下来了很多。不管工作的申请，不用改简历和准备面试等等。之前不断的适应新技术领域，不断的适应新工作和新行业，不断的在新工作中建立新的工作关系等，都耗费巨大。也在这两个月时间内停滞了，不需要思考了。真舒服哈

新工作也要在两周后开始了，这次的状态虽然还没有很在线，却也没有了之前的负担，好好的开始新的旅程。

旧手迹

hxsh2000 发表于 2022-6-30 10:09
接下来一段时间，如果是经济开始走向不好的方向的话，那么纯管理的特别是新进入公司还没有适应的中层管理， ...

"对外宣传时特别有用" 对的, 数据有时是被用于政治的。我听说过有搞数据的被当成替罪羊的. 髙管已经决策在先,让搞数据的作出对决策有利的数据。有人实事求是说做不出来, 结果没了工作。

hxsh2000

这个世界终于在美联储不得不回收之前十三年的巨量流动性，以及超低利率的不正常运行状态下，稍微看到要慢慢的回归原有的历史轨迹的可能性了。虽然道路肯定会很曲折，过程也会经历很多痛苦，可在这个不正常的状态中运行久了，会越来越习惯以及觉得本该如此，这会给予这个社会畸形的回报以及只有极少数人收益。

回归正常吧，这样子各个行业，各个职业，才会有更多的机会，回到更多人收益的状态。

旧手迹

sunjiayi 发表于 2022-6-29 10:30
报告只是作为决策支持用的，当然不是直接产出，老板拍板的时候作为参考之一而已。但engineer的data wareh ...

有道理。像covid , 不同政见的政客既可以找个传染病专家给自己的政见背书，也可以找个统计，数据工作者出来站台

hxsh2000

对于想进入数据分析领域的朋友们，如果正在学习中并且打算进入这个行当的话，那么接下来的三个月到半年的窗口，还是要好好抓住。减少一些练好内功等学好了再找相关工作的想法，尽量以更好的准备简历和面试为目标找到工作先。很多时候，不趁着市场还很热的时候转行，那么之后想进入卡位，有时候难度就会大很多的。

而转行数据科学方向，非科班的朋友们，也许需要慎重点了。这块之前一直倡导和作为楷模的Amazon, Netflix等，股票都跌的不成样子。这也会打击很多拿这些公司的成功案例来向传统行业的高层，推进数据科学以及机器学习的作用和进程。毕竟之前无论媒体，学术，市场都在宣传这些公司的成功，以及以数据科学和机器学习等AI为核心技术来达到这些公司的成功。现在股票表现这么不好，以这些成功案例来向高层要预算和资金来推行这些项目，会更加的难一些了。

hxsh2000

《What is data management? Infographic video》About DAMA version 1

hxsh2000

《Data Quality and Risk Assessment》Executive summary on the assessment by DAMA Australia, Canberra Branch

hxsh2000

跟随趋势，哪里是未来的大的发展方向，那么那里就会有足够的预算，也就会有大的项目。绿能以及电网升级在能源领域，在未来的多年，都还是会有足够的基建以及预算投入的。

《2022 Electrical Grid Tech Trends: Drones, AI, and More》：
https://energycentral.com/c/pip/ ... -drones-ai-and-more

《Smart Grid Trend Report 2022》：
https://safegrid.io/smart-grid-trend-report-2022/

hxsh2000

还有一周就上班了，中间还是休息了好一阵子的，有超过两个月了。

大部头《DAMA-DMBOK》实在是太厚了，看不下去。买了本《Navigating The Labyrinth - an executive guide to data management》的浓缩版本先看起来，也是DAMA International出版的，不到两百页。

hxsh2000

结合DAMA以及我自己的之前经验，觉得在一个集团公司里面或者在Enterprise层面，数据和分析的部门构架：

1. Data Platform: including data platform manager, data architect, DBA, data security etc (technical in IT team)
这块偏技术化的以及数据/分析平台的架构，一直以来都是归于IT部门的，且和IT部门的联系依旧非常紧密，比如Infrastructure / cloud, enterprise architect等方面的，都需要成为这些的下辖部门，才能更好的让IT能够统一技术构架。于是以上职位还是会放在IT部门的管辖下，和数据分析部门的Data Engineer等紧密的合作

2. Data Team 数据和分析部门的主要构架和设置 (data in data team)
Data Operations: Data Analyst, Data Engineer, BI Specialist
Data Governance: Data Governance Manager/Lead, Data Steward
Advanced Analytics: Data Scientist, Data Engineer
Support: Project Manager, Business Analyst, Agile Mentor
Optional: Data Strategy, Data Security/Compliance

3. Data Owner / Business Data Custodian (reporting in business team)
Performance & Insights Analyst: for finance, operations, sales and marketing, innovation and sustainability, supply chain, HR......

hxsh2000

《Navigating The Labyrinth》

"
Chapter 12 What to do now concludes the book with an approach to re-directing your organisation's data management practices through a current state assessment, a defined road map, and a commitment to organisational change management.

...... DAMA hopes that by navigating the labyrinth of data management, you can develop opportunities for your organisation to get more value from its data.  This book will explain the fundamentals and help you understand why they are important, so you can focus attention on how to build trust in your organisation's data through efficient and effective practices.
"