系统的学习Data & Analytics

Pippa

hxsh2000 发表于 2021-3-19 14:28
你提到的这个问题，我觉得很值得探讨一番。

举一个不一定特别关联的例子：在网上购物平台刚刚流行起来的 ...

我觉得我跟你的角度很不一样。一开始以为是从个人职业发展方向谈的，现在看你的重心好像是ICT部门的数据集中化运作。我不是搞It的，但工作中需要对公司重大It项目前期、期中以及期后进行审查评估。所以大家看到的东西很不同哦。

hxsh2000

Pippa 发表于 2021-3-19 15:50
我觉得我跟你的角度很不一样。一开始以为是从个人职业发展方向谈的，现在看你的重心好像是ICT部门的数据 ...

我的职业的发展，就是打算把整个流程都放在我的团队里来实施，并最优化这个流程。ICT的数据开发只是一方面，却不仅仅ICT的方面，也有如何Manage stakeholder exceptions，如何让Business配合，Guide业务和数据部门并连接的更好。

我的下下一步打算去学edX上面UC Berkley的一个系列课程，叫Data Analysis for Marketing and Segmentation。也是非常好的可以应用到工作中并提升数据分析对于销售和市场的贡献。

我应该渐渐的会成为了你说的那个懂业务，懂数据的人了吧：）非常有可能由于我能够掌握这些技能，于是我就不太需要这一方面的人才的贡献，而需要各个方面的专才来做事情了。

祝一切都好哈

Pippa

hxsh2000 发表于 2021-3-19 16:19
我的职业的发展，就是打算把整个流程都放在我的团队里来实施，并最优化这个流程。ICT的数据开发只是一方 ...

不是泼冷水，我觉得没有任何人，除非小作坊，能对整个公司的业务理解都达到了如指掌的境界。subject matter experts 是肯定需要的。你的方向更向是data architect。其实也很好啦，有这项技能跳槽转工都不愁了

hxsh2000

Pippa 发表于 2021-3-19 16:26
不是泼冷水，我觉得没有任何人，除非小作坊，能对整个公司的业务理解都达到了如指掌的境界。subject matt ...

这到不至于，如果连不是这个领域的朋友给的View就被泼冷水，我还怎么说服那些这个领域里面的，我的上级还有下级。

hxsh2000

Data and Analytics，Bayesian利用规律来分析和显示不确定性。

《Bayesian Statistics and Marketing》作者Peter E. Rossi, Greg M. Allenby：使用Bayesian Modelling和Bayesian Inference

hxsh2000

三千年的蜘蛛 发表于 2021-3-19 14:30
你怎么有 75% off？ 网上只有15%

两周前开始的75% Off，Promotion应该刚刚过期了。过一阵子应该有50%，感觉这个挺常见的。75%有时候刚好赶上了会有，这个得等等，机会不多。

现在Udacity把one on one tutor这块给取消了，所以更像是网上课程，虽然有问题可以在上面的online forum问，回答也很及时。但和以前有提供one on one tutor weekly catch up的时候相比，全额费用收那么贵，觉得不合适的。

mightyview

谢谢楼主分享。经常听到人提贝叶斯，楼主觉得贝叶斯有用吗

jack3881

好贴！Mark一下。

hxsh2000

对于Report & Analytics的领域，从提出数据分析要求，到结果甚至上线，整个开发过程很多时候都是：
1. Business Owner提出想法和需求分析要求
2. Business Owner把Mandate交代给Business SME，负责实施和执行（这里其实Business SME就继承了Business Owner的权利框架）
3. Business SME具体化需求，并和技术部门或者人员协调好实施
4. 技术部门或者人员根据Business SME的沟通，得到Business Requirement Definition，确定需求的细节，并开始开发和持续的沟通以完成任务。
5. 技术部门或者人员内部互相协调需要完成的具体任务，比如ETL，Pipeline， Data Cleansing，Analysis Modelling，还有Data Visualisation
6. 开发完成，技术部门或者人员和Business SME沟通并且测试和签收，上线
7. Business SME和Business Owner汇报并确定任务完成

在实际的工作中，对于Business SME能够代表Business Owner提供需求，管理和协调开发过程，和执行效率，我都有着很大的疑问。
1. 由于在公司层级里和职位的限制，Business SME其实很难理解Business Owner的真正的需求的。很多时候，Business Owner是根据更高层级的需求，做出Strategic Requirement的分析要求。然而经常性的，Business SME把握不到背后那些最重要的Strategic Requirement的信息（受职位，信息，经验的影响），做出来的Business Requirement Definition更偏向于适合Business SME或者就是再上一层的需求而已，所以往往做出来的结果和Business Owner的初衷差别很大
2. Business SME作为Subject Matter Expert，对细节的把握和理解的能力都是很强的。以此优势相应对的就是，对于数据分析和需求的方方面面，很多时候会需要远超过所需的信息，这个过程中降低了各方面的效率。
3. Business SME具备了最完善的Business部门的知识，然而对于管理，项目管理，技术方面涉猎不足，那么没有办法很好的管理这整个实施和执行的。

所以我自己在工作中建立的模式，Business SME也是核心，却仅仅是辅助类型的，Business Requirement我都是直接和Business Owner沟通和确认，然后管理整个流程的实施和执行的。

hxsh2000

mightyview 发表于 2021-3-20 03:38
谢谢楼主分享。经常听到人提贝叶斯，楼主觉得贝叶斯有用吗

在《Statistical Thinking for Data Science and Analytics》这么课的第五周课程，讲到了一个例子：Lecture: Bayesian Modeling in Practice的一个应用实例。是这么说的，在美国选举前的一个半月，通过XBOX做民调，并得到一个半月每天的结果，然后进行分析，对比最后的选举结果。由于XBOX的用户本身是non-random sampling to the general population，于是结果会存在不小的偏差。另外由于XBOX用户又有着本身的用户信息，比如年龄，性别，教育程度，党派倾向等，又能根据以往的各种倾向做出一定的预测率。于是综合了各种信息，并且不停的调整分析模型，最后得出了不同年龄时段的人，在年轻的时候（18--24岁）之间，会形成一定的投票倾向，而且有明显的根据时代或者年代的选择影响。

贝叶斯模型或者预测，是建立在统计和概率的模型分析上面的。更重要的是，由于现实生活中，分析的模型涵盖了非常多的参数，使得分析难度加大。贝叶斯模型的优势，是能够使用以前的其他分析模型或者结果（Prior Information)，通过数学模型进行很好的相关性分析，并作为最终结果的一部分。比如上面的这个分析，以前的分析数据或者结果会涵盖，XBOX用户的信息和投票倾向，甚至具体的年龄或者出生时段的分析概率，那么当使用XBOX用户投票倾向性用来预测美国选举结果的时候，贝叶斯的分析模型就可以把这些以前的其他分析结果应用到现有的概率分析模型中。

hxsh2000

Bayesian Model Insights:
* Bayesian inference is achieved (computationally) by drawing from the posterior distribution of the unknowns
* The outcome is a distribution, not a number
* You can summarise that distribution by its:
-- Posterior Mean, Median
-- Posterior Intervals (e.g. CPI, HPD)
* Interpretation of the parameters depend on:
-- The Posterior Density
-- Your model assumptions (e.g. the likelihood)

hxsh2000

edX上面沃顿商学院推出了一个三门课的系列课程《Professional Certificate in
Strategic Management》，完成了以后会有Professional Certificates，算是顶级（沃顿商学院是长期世界排名第一的商学院）是非常好的一门短期管理学的培训课程。总共费用700 AUD，非常高的性价比，对于往管理方向进取的朋友来说，很好的课程和增添简历的含金量。

三门课分别是：
Business Strategy from Wharton: Competitive Advantage
Introduction to Connected Strategy
Strategic Management Capstone

课程目标是：

* How to identify and define the competitive advantages of your business
* How to refine your strategy to maximise your competitive advantage and drive profits
* How to leverage the four connected strategies to create continuous relationships with customers
* How to move beyond traditional modes of customer interaction to create a fundamentally new business model
* How to create a portfolio of connected strategies to respond to different customer segments
* How to achieve sustainable competitive advantage in today’s business environment

hxsh2000

这周末把《Statistical Thinking for Data Science and Analytics》第五周贝叶斯模型学完了，整门课也顺利完成。

下一门课是DS102X 《Machine Learning for Data Science and Analytics》

* About this course

Machine Learning is a growing field that is used when searching the web, placing ads, credit scoring, stock trading and for many other applications.

This data science course is an introduction to machine learning and algorithms. You will develop a basic understanding of the principles of machine learning and derive practical solutions using predictive analytics. We will also examine why algorithms play an essential role in Big Data analysis.

* What you'll learn

What machine learning is and how it is related to statistics and data analysis
How machine learning uses computer algorithms to search for patterns in data
How to use data patterns to make decisions and predictions with real-world examples from healthcare involving genomics and preterm birth
How to uncover hidden themes in large collections of documents using topic modeling
How to prepare data, deal with missing data and create custom data analysis solutions for different industries
Basic and frequently used algorithmic techniques including sorting, searching, greedy algorithms and dynamic programming

三千年的蜘蛛

支持一下，加油。