系统的学习Data & Analytics

hxsh2000

2021年总结：

啊哈，终于到了2021年最后一天了，没想到这次学习新知识能持续这么长时间，难得啊。我一直都更喜欢这种记录和分享整个过程的RAW的历程，因为这个经历过程会有实实在在的情绪，节奏还有过程的记录，而非过后加工过的经验分享。因为在这个过程中，不同的人们可以从中得到不同的解释和理解。尽量做到RAW Data的呈现。

2021年一月二十九号开始记录至今，全年的工作外学习时间是538小时，包括周末和节假日，平均每天1.58小时的学习时间。

希望2022年继续努力吧，向着我一直期待的集团公司层面的GM/Head of Data and Analytics努力。

——————————————————————————————————

2021年1月29号开篇：

先说说开这个帖子的目的吧，一是分享和交流对数据行业的技术，理解和趋势；二是记录学习的过程和心得；三也许是最重要的，就是在学习和工作过程中，遇到了数据领域或者技术上不懂的，可以和大家请教和讨论。大家共同学习，共同提高！

进入Data & Analytics领域，原本有BI，Power BI，Tableau，Hyperion，ERP Reporting等各种系统用户端和应用端的相关经验。而Data & Analytics的整个领域更加重视的集合各个应用端的数据，使用和构建数据平台，提供给业务部门进行跨应用和整体的分析需求，以提高整合数据并创造商业价值。

数据和分析的三个方向，第一个是业务部门，熟悉商业模型和业务需要，并且熟悉可供分析的数据，使用工具进行有价值的创建分析报告；第二个是IT部门，熟悉后台数据平台的架构，ETL的模型和流程，创建可供商业加工和应用的数据源；第三个是数据分析部门，结合业务部门和IT部门，建立分析和预测模型。

现阶段需要先系统的把第一部分进行整合性的学习，一边学习商业模型和业务，并快速的提高对于可视化报表分析工具的应用能力，且需要学习如何能够使用数据更好的表达和支持商业分析。

hxsh2000

Placeholder 更新进程1

hxsh2000

Placeholder 更新进程2

hxsh2000

现有的进程：
1. Udemy: <The Complete Tableau Bootcamp for Data Visualization>完成了一半的学习，包括Tableau创建报表，建立各种图形，各种使用地图的创建和技巧，颜色的搭配等
2. 现在正在学习Udacity: <Data Visualisation Nanodegree>关注的是如何有效的使用数据可视化进行报表和数据的信息传递，还有数据可视化的需求和开发流程，如何讲好故事传递商业价值。刚刚开始，正在看数据可视化的基本原理和Guideline，如何有效的使用图形，颜色和图表传递信息

Pippa

好奇，如果没有足够的行业知识，如何做数据分析呢？建图表啊这些只是个外壳，灵魂还是对数据的理解啊。

忽然一周

灵魂还是对业务的理解

Parfaits

确实，现在的课程绝大多数都只是在教如何使用工具，而不是如何思考。

hxsh2000

这是我很喜欢在工作中和不同部门之间沟通使用的一张图，算是在整个Full development life cycle过程中需要用到的Skillset和一般如何分配和谁可能拥有这些技能和知识。这里只用到了Data & Analytics的方面，我在business systems方面和Reporting也都用过，很容易说明问题。我自己给她起名字叫技能光谱。要能成功的实施和做出有价值的，大部分时候都需要获得覆盖整个光谱的知识和技能。我的职业兴趣和方向，也是让整个过程都能在我的管理和调配下，能够提高实施和创造价值，提高成功率。
由于知识和技能的区别，很多时候根据实际情况的不同，有时候不需要配备所有的人员，因为可能有一些职位上的人技能范围比较宽，那么就可以做更多的一些。然而技能的深度和广度，却是有一定的矛盾性的。所以不可能找到技能覆盖广，又能有非常强的知识和技能。

hxsh2000

Pippa 发表于 2021-1-29 23:05
好奇，如果没有足够的行业知识，如何做数据分析呢？建图表啊这些只是个外壳，灵魂还是对数据的理解啊。 ...

赞同你说的数据分析的观点。

这个需要和实际的技能和需求相关联了，技能懂行业知识，又能理解开发流程，又能做出数据分析的人，少之又少，而且特别贵。我上面列举的技能数，行业知识和业务技能，能够有Business Owner & SME提供的，在实际的操作中这样。然后由有经验的BA进行需求分析，并翻译成Business requirement document的偏技术性的语言，然后和IT部门做实施和协调。Data Analyst在很多时候，需要对Business requirement document和行业和数据的理解的要求，实际上不需要很高的，更多的是知道在说什么和怎么回事，就非常的好了，但核心还是使用工具，把商业需求给实现出来。当然了，如果集齐了七颗龙珠，整个知识点都覆盖甚至精通，就能打通整个关卡，Fill在整个life cycle中的各种knowledge and technical gap，大大的提高沟通的效率。

我是这么觉得的，在这个过程中，各司其职，各个职位有各自的知识和技能的贡献范围。建立一套完整的流程和Operating Model使整个链条上的人能够发挥长处，进行有效的沟通和解决问题，就是一个非常好的Framework了。数据分析的核心是商业需求，重要的是行业知识和业务特点，但这些是Business需要提出和掌握的。BA和DA/DE对于Data & Analytics的贡献，更多的还是如何使用工具，帮助实施这些。

hxsh2000

Parfaits 发表于 2021-1-29 23:10
确实，现在的课程绝大多数都只是在教如何使用工具，而不是如何思考。

是的啊，从九十年代到现在，IT的课程都是教使用工具的多，因为能够快速的转化成看得见摸得着的价值，找到工作或者转行。那些教如何思考的，见效慢而且都是核心基础课程，只能放大学里。
你上了好几个Udacity的课了，有没有什么经验传授一下的

Parfaits

hxsh2000 发表于 2021-1-30 11:28
是的啊，从九十年代到现在，IT的课程都是教使用工具的多，因为能够快速的转化成看得见摸得着的价值，找到 ...

想不到你能认出我来。

udacity的课程鱼龙混杂，说白了这些在线教育网站都是以赢利为目的的，而不是教书育人。

szywj

请问各位，有没数据分析思维的课程推荐

marc1988

nathan0000

马克一下

hxsh2000

szywj 发表于 2021-1-30 13:03
请问各位，有没数据分析思维的课程推荐

数据分析思维是啥意思？技术的，业务的？

hxsh2000

Parfaits 发表于 2021-1-30 12:30
想不到你能认出我来。

udacity的课程鱼龙混杂，说白了这些在线教育网站都是以赢利为目的的，而不是教书 ...

前几天在找网上课程的时候，搜到了你的帖子。你完成了好几门DA/DE/DS的课程了吧

Pippa

hxsh2000 发表于 2021-1-30 10:56
赞同你说的数据分析的观点。

这个需要和实际的技能和需求相关联了，技能懂行业知识，又能理解开发流程， ...

谢谢分享。我不太明白的一点是，按照你分享的这个图，需要不同部门的专业人士合力完成一个项目，对吧？但一个企业哪有那么多这类型的项目，需要长期雇请一个部门运作呢？我看到的情况，对数据分析需求较大的部门自己会有几个人专门负责数据分析。单列一个数据分析部门来负责全公司数据分析需要的情况我没见过。你能说说这是什么情况吗？

Pippa

hxsh2000 发表于 2021-1-30 10:56
赞同你说的数据分析的观点。

这个需要和实际的技能和需求相关联了，技能懂行业知识，又能理解开发流程， ...

我个人还是倾向于认为数据分析可以作为个人技能发展的一个思路和方向。前提是你已经是某专业/行业的资深人士，深造一下数据分析技能，能如虎添翼。如果是高中生，单单在大学学几年数据分析知识，在现实里找到工作的机会反而不大。另外，现在数据分析工具越来越强大，即使像我这样毫无it背景的人也能半路出家，自己完成一整套数据分析的设计、开发和演示。其实也不过是公司付钱去上了几个课程而已。出来的结果跟某四大付了二十几万咨询费的报告几乎没有区别。再次说明，数据分析最关键是对数据的理解而不是那些看上去很强大的分析工具。

Parfaits

hxsh2000 发表于 2021-1-30 14:35
前几天在找网上课程的时候，搜到了你的帖子。你完成了好几门DA/DE/DS的课程了吧 ...

是好几十

Meloni

楼主在DA行业么？还是想转行的

hxsh2000

Pippa 发表于 2021-1-30 14:50
我个人还是倾向于认为数据分析可以作为个人技能发展的一个思路和方向。前提是你已经是某专业/行业的资深 ...

先玩一个小游戏吧，然后我告诉你答案哈，你confirm一下我的猜测呗。
从你上面说的观点，让我猜猜你的背景:首先你应该是business SME，图中的位置；然后你是finance的可能性非常大，operational的可能性小很多；其次你做的分析，使用的是single source的系统拿数据

yzh1999

hxsh2000 发表于 2021-1-30 15:22
先玩一个小游戏吧，然后我告诉你答案哈，你confirm一下我的猜测呗。
从你上面说的观点，让我猜猜你的背景 ...

挺有道理的

Pippa

hxsh2000 发表于 2021-1-30 15:22
先玩一个小游戏吧，然后我告诉你答案哈，你confirm一下我的猜测呗。
从你上面说的观点，让我猜猜你的背景 ...

哈哈：

是business SME - 不是哦。我们不属于任何运营部门，但我们有权随时调用任何系统的实时数据进行分析处理

你是finance的可能性非常大，operational的可能性小很多；- 最近几年的趋势就是往非传统系统数据开发分析工具，从而挖掘更深层的公司文化行为问题

你做的分析，使用的是single source的系统拿数据 - single source的数据一般在系统上线的时候已经定制很多分析报告了。我做的都是多系统不同source data的融合分析，根据项目目的定制数据分析方案。这样做出来的分析结果才能独一无二啊

hxsh2000

Pippa 发表于 2021-1-30 16:57
哈哈：

是business SME - 不是哦。我们不属于任何运营部门，但我们有权随时调用任何系统的实时数据进行 ...

原来是内控团队的朋友，而且有如此兴趣和理解数据的，很难得哈！我得想想如何总结和回答你之前的问题，先欠着哈

hxsh2000

Pippa 发表于 2021-1-30 16:57
哈哈：

是business SME - 不是哦。我们不属于任何运营部门，但我们有权随时调用任何系统的实时数据进行 ...

我之前的一个很好的同事，就是在Assurance team的，做Analytics Manager，在四大和BHP做了十几年。刚进公司，就到处扒拉各个系统的technical lead给她各种数据权限，特别是back end tables access。几个月后，就可以用数据工具和Power BI做出各种报表，非常的强哈。

Pippa

hxsh2000 发表于 2021-1-30 17:21
我之前的一个很好的同事，就是在Assurance team的，做Analytics Manager，在四大和BHP做了十几年。刚进公 ...

做报表不难，难的是这些报表做出来之后能不能反应出管理层不知道的情况？这些报表做出来之后是不是能成为管理层监管的有力工具。得到管理层buy in 才是最难的。

heroxk

数据分析要做的好，关键不在于工具，而是对数据理解和把控。这个需要悟性，经验。网课只能帮助入行，后面的修行还看个人。这里说的是data analytics不是engineering。

再深一点，交际能力很重要，想要做的顺，和data owner，business SME成为哥们很重要。一般数据项目中，被人卡脖子的情况一般都是不给你数据，或者不配合你帮忙解释数据含义。

还有就是带货的能力，你出的结论（绝大多数情况下都是有条件成立，或者不是完美的，或者是得罪人的分析结果），怎么通过技巧说服别人去买你的帐。

data analytics是艺术，不是纯技术。

hxsh2000

这周进展不错，周三开始Udacity Data Visualisation Nanodegree的学习后，进度还可以。
学习了Data Visualisation的一些规则和Guideline，如何才能更好的利用数据进行交流，更有效率的传递出需要沟通的信息等。这一章节介绍了一本书<<Storytelling with Data -- a data visualisation guide for business professionals>>出版社也是著名的Wiley。暂时没有时间看这本书，在这个课程中有了一些初步的介绍，以后有空的话可以看看。
然后第二部分是Tableau软件的学习和应用，这个在之前的Udemy学过，所以进度很快，也是很好的复习吧。在软件的学习上，这种以短视频和Text结合软件教学，感觉可能不如Udemy的整个视频教学有效。好处是Udacity能够很好的把握好进度，和Data Visualisation Principle结合在一起。

hxsh2000

Parfaits 发表于 2021-1-30 15:13
是好几十

哈哈，小伙子很努力和认真啊，很有前途，我看好你哦！！！

hxsh2000

Pippa 发表于 2021-1-30 19:31
做报表不难，难的是这些报表做出来之后能不能反应出管理层不知道的情况？这些报表做出来之后是不是能成为 ...

知识，能力，软实力和价格是成正比的，你说的那些能力和经验，是跟长久的行业积累和持续不断的学习紧紧联系在一起的。有这个背景的，至少是Senior，甚至Lead，Manager才会有。对于入门的和在这个领域的才几年经验的年轻人，是没办法真正具备这些的。在那个职位上，没有这些完全的技能，也能做出能够Shining的东西。对于入门和Junior, Mid Level的年轻人，要求实际上并不高，能理解和掌握其中的一环，或者多一些，就足够了。