系统的学习Data & Analytics

hxsh2000

一整节课把前面的部分整合，讲解一个具体项目，从开始确定需求后，一步一步分析，到把结果呈现出来。属于第四章第五节课：Visualisations and Trying it Together

hxsh2000

很好的一篇文章，Harvard Business Review <<Why Is It So Hard to Become a Data-Driven Company?>>
https://hbr.org/2021/02/why-is-i ... utm_source=linkedin

接下来几周要和业务部门讨论提高业务部门对于有什么数据，对于数据的理解，提高数据的敏感度。只有当业务部门有了一定的数据的理解，才能更好的衔接业务的需要，做出Valuable Insights。然而这也只是中间的过渡，使用Data & Analytics Driven代替传统的Reporting的思维方式，需要建立起新的Data Culture，是非常的难的。这个太宏大的目标，以后再说了。

“What’s at the root of this slow progress? For the fifth consecutive year, executives report that cultural challenges — not technological ones — represent the biggest impediment around data initiatives. In the 2021 survey, 92.2% of mainstream companies report that they continue to struggle with cultural challenges relating to organizational alignment, business processes, change management, communication, people skill sets, and resistance or lack of understanding to enable change. This represents an increase from an already high percentage of 80.9% of firms that named cultural challenges as the greatest impediment to success just four years ago. As management guru Peter Drucker once said, “Culture eats strategy for breakfast.”

One answer is that becoming data-driven takes time, focus, commitment, and persistence. Too many organizations minimize the effort or fail to correctly estimate the time which these kinds of wholesale business transformations require.

Given these findings, Chief Data Officers and corporate data leaders should consider three pragmatic recommendations:

1. Organizations can benefit by focusing their data initiatives on clearly identified high-impact business problems or use cases. By starting where there is a critical business need, executives can demonstrate value quickly through “quick wins” that help a company realize value, build credibility for their investments in data, and use this credibility to identify additional high-impact use cases to build business momentum. We see firms that invest in data capabilities and technology without a clearly defined business demand failing time and time again.

2. Companies must reexamine they ways that they think about data as a business asset of their organizations. Data flows like a river through any organization. It must be managed from capture and production through its consumption and utilization at many points along the way.

3. Data-driven business transformation is a long-term process that requires patience and fortitude. Investments in data governance, data literacy, programs that build awareness of the value and impact of data within an organization, may represent an eventual step in the right direction, but organizations must show that they are in it for the long haul and stick with these investments and not lose patience or abandon efforts when results are not immediately forthcoming.

hxsh2000

八种Data Stories: Change Over Time / Hierarchy Drill Down / Zoom In & Out / Contrasting Values / Intersections / Different Factors / Outliers / Correlations
使用Tableau设计Data Stories和Animation。
Hans Rosling TED talk “The best stats you've ever seen”
https://www.youtube.com/watch?v=hVimVzgtD6w

还有好多东西需要同时看，有点忙不过来，还是得一个一个来

hxsh2000

在Business和IT做DA/DE，同一级别的岗位上，偏技术性的方向收入还是比偏业务方向的高不少。主要的原因还是业务上的话，虽然也在不停的发展，基本的业务逻辑却还是一直保留着延续性，已经积累了很多的人力资源；而IT本来就是近二三十年的告诉发展，每个领域也一直推陈出新，不停的向前发展，于是这一方面的人才储备（特别时新技术）一直处于很缺的状态。比如前面说的Business SME，收入和技术类的Data Engineer/Analyst相比较，收入差不多得差一个职位级别。

另一方面，Business的业务等职业发展，也有非常大的优势，就是有清晰且明确的上升通道，每个业务的顶端，都能达到非常高的层级。而新型的技术类，虽然扮演者越来越重要的位置，却由于没有在传统公司架构中一直占有一席之地，这个职业的发展和向上走的通道很难在短期内能够有很大的提高。比如在IT部门中，Data或者Analytics的顶端几乎不可能拿到CIO的位置，很多的时候，是之下一级甚至二级的部门而已。

这个就是IT方向薪资很高，特别是资深的合同工，却没有很高职位的机会。另外的一点是，以IT related topic建立起来的business case，比较能拿到多一些的项目的基金。而Business related topic在分析这块的，除非涉及到strategy & transformation，拿到多一点的项目基金的机会小了很多。

hxsh2000

接下来需要学习一些关于ETL方面的知识，特别是现在市场上比较热门的Data Lake和ETL的技术，AWS, Redshift, Matillion, Snowlake等。想深入了解和能够进行基本的操作。

请大家介绍一些比较好的课程！

hxsh2000

Data visualisation的课程算是很快的过了一遍了。接下来两周多争取把几个作业要做的projects做了，争取一个月内完成课程，然后下一个topic

似水骄阳

会计出身，想像数据分析转型，楼主能给点意见吗？谢谢

hxsh2000

完成了Udacity Data Visualisation第一个小项目，用Flights的数据做了两个Sheets和一个Dashboard做出展示。

觉得名校的Professional Certificate还是有一定的光环和加成的。Enrol了ColumbiaX的一个课程，Data Science for Executives。读完可以拿到Professional Certificate。学校和课程名字都非常好，适合现阶段的需求和未来求职的方向。而且还便宜，$400以内。就是四个月的时间，每周学习5-7小时。想深入学习这方面的朋友，mitX有个很深入的MicroMaster，五门课，每周十五个小时以上，接近一年的课程。

dwlyy730

数据分析的行业专业性特别强，楼主最好想清楚自己要做技术还是分析，无论哪个方向，赶紧想办法开始工作才是最重要的，工作中再去学习需要的知识，但是入行数据分析，就很可能被行业限制住，比如做了几年医学数据，再想去金融领域那也是不太现实的，澳洲市场小，如果行业没选好选择会很受限，而做data engineer就相对通用一些，但是就是要不停的学习新技术。
Tableau和PowerBI这些工具学起来很快的，完全没必要专门去听课学，真碰到了，google一下就搞定了，而且很有可能楼主学了这个学了那个，工作中却用了完全不一样的工具，继续重新学，以前学的不用也就忘了。
最后，个人感觉看书比听课效率高一些，祝楼主好运

hxsh2000

似水骄阳 发表于 2021-2-8 15:05
会计出身，想像数据分析转型，楼主能给点意见吗？谢谢

你的职业目标是什么呢？如果是管理会计，FP&A或者Finance Business Partner，那么转型数据分析应该比较顺畅，毕竟熟悉了上层和Commercial要什么，多学学Data Visualisation，把各种报表做的超好看，是很大的优势哈。转为Reporting & Analytics也很容易的。

如果有着一颗IT技术的心，学学SQL，Excel VBA和Python这些编程语言，那么能够理解数据源，从数据库直接调用数据的话，也就直接做成Data Analyst了。

hxsh2000

看了edX的如何上好网课的视频课，包括如何休息好，如何管理好学习进度，如何和老师和学院互动等。edX作为非盈利组织，提高了非常高质量的课程的。很感谢这些名牌大学提供那么多的好课程。

看如何上好网课可以顺便放松一些，也意识到之前几周强度太大。在工作之后，连续两周多每周超过二十个小时很紧密的学习，有点超负荷了，恢复恢复。需要劳逸结合，有耐心些找到平衡的学习节奏

terrysu

楼主讲解的很详细。目前的公司里就是被定位在BA，DA的位置，尴尬的是没有DE给支持，只能自己慢慢的摸索数据库结构，去追着问数据的含义。还有一个难题，公司里的高层觉得你会数据，就把IT不愿意接的活，一股脑推给我，要我去挖数据. 然后就得再追着IT要某个页面后的query，或者原始数据。再加上IT部门特NB哄哄，从来都是邮件石沉大海不回复。如果自己能找到的数据，基本不去IT要，这样的日子真的很难熬，明明title是BA，好像不是干着BA的活。
之前在公司会计有多年经验，会Power BI ，SQL（SQL用的多的主要是查询，网上刷力扣，牛客题自学的）。
目前想换工作，有什么好的建议，公司岗位，以及skillset有需要补充的，谢谢

yzh1999

hxsh2000 发表于 2021-2-4 19:53
明天跟Business和IT team开会，然后确定和讨论整个Operating Model。成功的话整个Data & Analytics开发过程 ...

business和IT都buy in了吗

hxsh2000

yzh1999 发表于 2021-2-12 08:43
business和IT都buy in了吗

哈哈，肯定没那么快，算是一个kick start的会议，接下来一段时间继续讨论如何和区分各个小块。这种跨部门的合作和区分责任义务的讨论，会很漫长和艰辛的，还设计到预算和资源。我把那个技能图展示了，让大家都清楚需要讨论的范围，接着大家都做自己认可的合作模型，然后继续探讨可能性。

hxsh2000

terrysu 发表于 2021-2-12 08:04
楼主讲解的很详细。目前的公司里就是被定位在BA，DA的位置，尴尬的是没有DE给支持，只能自己慢慢的摸索数据 ...

我觉得职业发展最重要需要确定的，首先是自己喜欢什么，你想在工作中获得什么，然后才讨论职业规划和如何达到。比如你的兴趣点在哪里，如何让你能够有成就感，如何让你即使加班，也能乐在其中，或者你想要的就是工作生活的平衡。有了这些信息，才比较能探讨你的职业方向和讨论需要什么额外的知识经验。

flyinfree

heroxk 发表于 2021-1-30 20:04
数据分析要做的好，关键不在于工具，而是对数据理解和把控。这个需要悟性，经验。网课只能帮助入行，后面的 ...

同意的。。。。我是客服销售方面的，价格设定和长约合约什么也由我们干，所以我们也需要分析产品成本（外购和内造）。。。就是因为咱经常用各种数据“打脸“采购那边。。。。

结果人家根本就不想把数据暴露给我。。。。。 明里暗里设了不少关卡 其实我也不在乎。。。只不过是为公司服务罢了。

terrysu

hxsh2000 发表于 2021-2-12 19:04
我觉得职业发展最重要需要确定的，首先是自己喜欢什么，你想在工作中获得什么，然后才讨论职业规划和如何 ...

有小孩有家庭，注重工作家庭平衡是首要的。
至于工作的成就感，愿意往数据分析进一步努力，也能学习的自觉性。
在这样的情况下，应该有怎么选择呢？
还请楼主多多指点，在岗位选择和技能补充方面。谢谢

hxsh2000

记得高二的时候，第一学期英语考试，考了几乎全班倒数。寒假期间，找了补习的，除了大年三十和新年，认真的学了整个假期的英语，然后英语成绩从三十几分提高到了八十几分。

又有了当时的感觉了，除夕和春节休息。然后恢复好，继续努力！

hxsh2000

terrysu 发表于 2021-2-12 20:53
有小孩有家庭，注重工作家庭平衡是首要的。
至于工作的成就感，愿意往数据分析进一步努力，也能学习的自 ...

你的优势是很强的会计背景，那么最好的方向就是如何利用这种背景，往数据分析上转。数据和分析的最终目的，还是要为业务服务，比如增加利润，减少费用，增强合规和数据安全等。首先要注重会计和商业的分析的结合，理解公司对于revenue和各种cost对于P&L和业务的影响，然后这些方面有没有什么challenge，然后可以提高的地方并且用数据来支持你的想法。这里有两个方向：1. 往Strategy & Data方向走，和公司的高层打交道，理解她们对于业务的痛点和对数据的需求，通过你对于业务和数据的理解，增强Data Visualisation和Presentation的技能，领导Data Analysts团队做出容易让高层接受的建议；2. 往Data方向走，多和技术部门打交道，如你现在做的，并更深入的理解各个系统里面数据的来源和结构，慢慢达到其他人需要什么数据，你能够直接给出数据建议；3. 往Statistics方面，需要建立模型和算法预测未来的可能性和走向了（这个领域我接触很少，展开不了）。

比如说Billing collection and receivable，在多系统构架的公司，要得到确切和全面的数据，是非常难的。而更加难的是和高层沟通后，这个topics需要关注的和需要报告的方向，并建模设定出KPIs和优化汇报模型。再根据数据的理解，沟通需要什么数据。第二个方向，就是掌握和理解了哪个系统能出什么数据，怎么把数据结合在一起。如果公司用的是大系统，那么换工作的时候，能够懂得特定系统背后数据流向，是非常有价值的。

数据分析还有偏technical的Data Analyst，你有了SQL和Python的基础，也是一个方向。说到底，一方面，会用和精通还是有很大的距离，需要花很多的精力学习和提高；另一方面，你原有的多年工作经验，价值增值和可过渡性会打折扣。

hxsh2000

准备第二个Data Visualisation的作业，需要根据提问的问题，画出草图Sketch，然后做出框架，可以更有效的在前期和需求方确定方向和基调。更重要的，和几乎所有需求一样，需要弄清楚谁是主要用户，需要从中得到什么，解决什么问题，用户的喜好和特点，然后才能做出受欢迎的，贴切需求的成果。

其实Data Visualisation是一个要求很高的技术，需要审美，需求页面设计甚至美术基础，才能做出高质量的视图和数据可视化。需要attention to details，需要完整的架构页面的整体平衡，才能做出好的页面和表达。更需要了解用户，针对用户可以理解和了解的程度，做出可被接受的成果。

分享一个基本图形和如何找到适合图形的网站juicebox：http://labs.juiceanalytics.com/chartchooser/index.html

hxsh2000

第二个项目打回来重做，需要把六个需要回答的问题，用不同的图形在一个Dashboard里面做出来，然后还需要做的清晰，结构合理。重新看了一遍相关的章节，觉得还是有点难度，主要是要做好，难度不小。

分享几个关于颜色的网站：
Colour Brewer: https://colorbrewer2.org/#type=sequential&scheme=OrRd&n=6
Your Friendly Guide to Colours in Data Visualisation: https://blog.datawrapper.de/colorguide/

没开始这个课程之前，一直觉得Tableau，Power BI等应该挺容易学的，也容易上手。先在技术上遇到LOC和DAX，算是一点小挑战。然后遇到图形，颜色和构图，这个对于没有图形设计基础的来说，更难一些吧

hxsh2000

重做了第二个项目，花了不少时间修改，并把六个问题装在了一个Dashboard里面，把几个图放整齐，按要求不加颜色，只用灰度，也顺利的过了。

数据分析的可视化也和网页和页面的呈现一样，要清楚的给用户提供标识和可做的操作，Affordance & Signifier。

Don Norman’s seven fundamental design principles: https://uxdesign.cc/ux-psycholog ... ciples-39c420a05f84

Interaction Design Foundation: https://www.interaction-design.org/literature/topics/affordances

米兰小球迷

hxsh2000 发表于 2021-1-30 10:40
这是我很喜欢在工作中和不同部门之间沟通使用的一张图，算是在整个Full development life cycle过程中需要 ...

technically speaking， 一个合格的Data Scientist得掌握三方面的知识mathmatics，statistics，and computer science。
然后根据公司所处行业，了解加深入学习业务知识，才能将data转化成actionable insight，从而驱动业务发展，为企业zengjia利润或者削减成本吧。个人的一点薄见。

米兰小球迷

szywj 发表于 2021-1-30 13:03
请问各位，有没数据分析思维的课程推荐

上Kaggle，里面都是真实的案例或者competition，code+analysis都有。

z_denise

佩服楼主啊！怎么做到一边全职工作，一边学网课的？我也在udemy上面买了几门课，可是往往开了个头就做不下去了，这方面能分享一下心得吗？如何让自己能学的下去呢？

cxhugh

hxsh2000 发表于 2021-2-15 23:25
重做了第二个项目，花了不少时间修改，并把六个问题装在了一个Dashboard里面，把几个图放整齐，按要求不加 ...

有的时候感觉tableau这种软件真的很容易上手来做dashboard，直接在界面上选想要什么就好了。用R做Shiny感觉写代码就要写好久，而且很多东西都要调来调去。。。Python画图感觉还是没有R的ggplot好用

mendietaczfls

给楼主点赞。本人就是数据平台/工程从业者，看了一下楼主1楼和8楼对行业的理解和概括，还是蛮到位的，对于以后有志向加入这个行业的人来说也会有挺大帮助。

hxsh2000

第三个作业，做一个完整的Dashboard，要求相当于做全功能的，需要做各种视图，使用不同的参数，做互动的报表，并从Summary --> Filter Discovery --> Detailed Reporting。建立好构图，text hierarchy, 使用好颜色，标注等。

看到有些学员做的真的很好看，颜色和谐，视图构图清晰明了，特别是选的图形贴合表达的重点，并且多样化。对于Data Visualisation入门者来说，能使用的图形很容易单一化(Bar Chart, Pie Chart, Line Chart等)，颜色的把握也有很多需要提高的地方。争取多花点时间做个好点的出来，就可以当作以后做类似项目的模板了。没有个一两天怕是整不出来了哈。

hxsh2000

z_denise 发表于 2021-2-16 13:20
佩服楼主啊！怎么做到一边全职工作，一边学网课的？我也在udemy上面买了几门课，可是往往开了个头就做不下 ...

主要是工作中需要用到，而且还得指导人家做的好看。没有点实力说出个圈圈和框框，或者随手拈来个best practice，讲讲一下该有的流程，不容易领导小朋友们做东西哈。

米兰小球迷

mendietaczfls 发表于 2021-2-16 23:13
给楼主点赞。本人就是数据平台/工程从业者，看了一下楼主1楼和8楼对行业的理解和概括，还是蛮到位的，对于 ...

层主是Data Engineer吗？DE岗shibushi要求会javascript这些语言，才能构建大型企业的数据仓库？