系统的学习Data & Analytics

hxsh2000

重新温习一下SQL的各种语句，作为Data Analyst开始前的要求。之后还有Python，也是开课前要看的。作为核心的要求和有价值的（就是工资高的），技术类的基本和应用还是得拿下的

感觉无缝衔接的继续看，有点累。这周放轻松点，就当时休息一下。

hxsh2000

比较想了解一下，从无到有，如何建立起来一个AWS analytics platform (data lake)。然后如何对接数据源系统，例如ERP, CRM等，建立相应的Data Assets。

AWS Data Lake: Object Manager:
Amazon S3: Object storage built to store and retrieve any amount of data from anywhere
https://aws.amazon.com/s3/?c=a&sec=srv
AWS Lake Formation: Build a secure data lake in days:
https://aws.amazon.com/lake-form ... rds.sort-order=desc

hxsh2000

还有一个AWS Redshift：
AWS Redshift: Analyze all of your data with the fastest and most widely used cloud data warehouse
https://aws.amazon.com/redshift/ ... rds.sort-order=desc

hxsh2000

早上和一个中型公司（$500m revenue / year）的CIO聊一个工作机会，head of analytics，需要帮公司选择和建立起整套analytics & AI的整合平台，设计和管理整个业务部门和财务部门的需求和合作开发流程，提高数据应用能力和引进一定的人工智能和自动化。聊的还不错，跟现在做的也差不了多少，需要加入更多的底层的技术能力和理解，从平台建立到数据工程都需要涵盖了。

hxsh2000

数据和分析方向的，从管理层（一般是executives及以上）角度来说，都会有挺清晰的方向，要求和挑战。一方面，是统一现有的各种系统，能够做到拿到的数据能够反映真实的公司现状和趋势；另一方面，依靠新技术和工具，比如ML和AI来增强分析和预测能力，提供可靠的或者接近模型。

业务和技术是相辅相成的，互相促进，相互的创造价值。很多时候，解决方案都需要双方的努力，才能成为更好的解决问题。在这个时代下，随着automation, work flow越来越广泛的应用，企业的流程，既包括了业务运营流程，也涵盖了系统流程，一起完成的。先以技术的视角说说对数据的的理解，

以下仅以数据方面的视角来讨论，因为统一平台的优点不仅仅体现在统一数据上的，还有非常重要的标准和统一化业务和系统流程，而且由规范化后带来的好处，比如外包这些统一的业务标准流程，甚至技术支持部门。

2000~2010年这段时间，大家都认为单一化的系统平台，比如ERP外加Business Intelligent的解决方案，能够很好的把公司所有业务流程和数据都集成到这个平台上。即客户数据，销售数据，财务数据，库存和采购数据等，而其他的应用和小平台也都可以通过XI/PI的中间件把数据集合在这些系统上。SAP和Oracle ERP这种集成化解决方案成为主流。也就是把这些ERP的数据库和数据表，当作统一和唯一的数据源，以此来实现single source of truth的数据同一性和透明化。

而现阶段，实施统一的业务系统平台（比如ERP），来促使数据统一化和同一性的目的，变成了一种可供选择的方式而已。因为data lake cloud的兴盛，提供的便利性和兼容性，使用单一的data lake来管理公司的所有数据，成为了一种很流行的解决方案。这样使得公司能够摆脱大ERP系统平台的束缚，选择一些重要的其他系统的解决方案，比如Salesforce CRM，Workday HR等。并由Data Lake为中心，来调配数据的接口，链接，结合和分析。当然，新的模式肯定会有新的挑战，趋势如此，总会继续向前。对比公司上层来说，就是如何减少费用，增加价值。

hxsh2000

业务部门要什么呢，根据不同的层级，不同的部门，要求也都是不同的。越上级(executives及以上)，越需要数据的同一性和统一性，能够用很简洁的图表或者趋势图，描述出公司的现状和未来的趋势分析；中层经理级别的(senior managers / managers)，由于负责比较具体的职责并且负责具体的达标性KPIs，所以需求的很多时候都是既有具体的指标，并且需要分析结果和能指导如何进行下一步指标；基层人员(leads / SMEs / Users)更多的需要给出具体的需要跟踪和下一步的任务。

对于管理层，非常重视的是数据汇报和分析的一致性(data integrity & data quality, single source of truth)，要不会经常出现CFO给出一个数据，然后Sales最大头给出对同一个指标而完全不同的数据。于是在最高层的会议中，经常性的最后变成了讨论到底谁的数据才能说明问题，而非做出下一步有价值的决策上。另一个是数据能够反映出现实还有趋势。还有就是如何利用分析和新技术，提高分析结果的可靠性，还有给出有价值的原因分析。

对于single source of truth，实际上不仅仅只是技术部门实施的数据单一性来源与汇报。还涉及到整个业务部门如何管理数据的汇报和KPIs的定义和设定上。现实情况，由于业务部门拥有一定的数据开发能力，经常独立的开发自定义的分析模型，往往使得在向上层汇报时，不同的部门使用对于自己有利的KPIs，甚至对于统一的KPIs而使用不同的定义，使得管理层无法有效的并且统一的了解到现实企业运行的现状。

所以在这个里面，一方面，需要让技术部门统一数据源的导入，并且对于各个数据报表的数据源进行规范化，让独立且自定义的分析模型必须建立在数据部门提供的meta data assets上面。另一方面，规范化业务部门的使用数据和自定义分析模型，建立起一套KPIs可供查询的data dictionary。如果是最高管理层设定的KPI，那么所有的分析和定义必须从那里面来。而如果是中层的KPIs，那么建立可供request / approve的流程，并且使用IT的技术实现和管理这个流程。

另外一些就涉及到data governance，data integrity，data quality如何实施和管理上了，也都是需要技术，数据和业务部门共同参与与协力才能够比较好的实现的。

hxsh2000

Udacity的短视频加大段文字，介绍和学习使用SQL和Python的软件和编程，实在用不习惯，之前的Tableau也是。还是喜欢Udemy上面 Dr. Angela Yu 《100 Days of Code - The Complete Python Pro Bootcamp for 2021》的长视频加练习来学习Python。看来Data Analyst Nanodegree绕不过去Python的基础学习的，还是得一步一步来的，急不得哈

现在的兴趣和关注点都在Data Engineer和如何建立Data Lake上面，本想先暂停Data Analyst Nanodegree的课，先学Data Engineer Nanodegree的。结果Udacity的课，一旦交钱开始了，既不能中间暂停一段时间再开始，也没办法转课时换课，非常不友好，没办法改变学习计划。

运筹小子

hxsh2000 发表于 2021-4-19 22:52
Udacity的短视频加大段文字，介绍和学习使用SQL和Python的软件和编程，实在用不习惯，之前的Tableau也是。 ...

赞同。我也发现这个问题。本来想趁udacity 打折买入后来发现一旦付钱就enrol不能自选开始时间很不人性化，虽然迟迟买不下手

一粒小沙子

hxsh2000

运筹小子 发表于 2021-4-20 07:43
赞同。我也发现这个问题。本来想趁udacity 打折买入后来发现一旦付钱就enrol不能自选开始时间很不人性化 ...

是啊，udacity的收费在网上教育的几个主流edX，Coursera里算是高的了，结果还这么不Flexible。

hxsh2000

最近data & analytics出来了很多很好的职位，都是经理级别及以上的。大家有空的话可以看看。

Data & Analytics的几个方向：
Sales Insights and Analytics
Compliance and Internal Control
Financial Insights and Analytics
Operational Performance / Cost Analytics
Health Analytics / Environment Analytics

hxsh2000

下班后和CIO面了第二次，相互的交流了更多的需求和细节。如现状和需要接下来实现的计划和目标，关注的几个方面和自己在这些相关的方面的经验，还有整个技术部门的架构和合作方式。我关注的还是以后的机会和发展，能够得到多少资源来实现相关的计划。这个职位已经可以和整个Enterprise Applications的头头平级，成为IT Senior Leadership team的成员。

我也表现了自己擅长的一面，就是和IT以及整个业务财务打交道，建立和规划Data & Analytics的规范化，优化并统一流程。不足的还是技术的方面，毕竟虽然以前有涉猎，并且近期努力的在工作中提高和学习，相对于在这一行里做了十几年经验的人来说，还是不够的。另外行业也有所不同，这块在面试中讲到的例子也没办法举出公司所在行业的方向。等等结果如何吧，优点和不足都充分展现出来了，看到底优点能不能覆盖缺点了，大老板会不会buy in了。

hxsh2000

继续学习了两个小时的Python

运筹小子

hxsh2000 发表于 2021-4-21 20:18
最近data & analytics出来了很多很好的职位，都是经理级别及以上的。大家有空的话可以看看。

Data & Analy ...

特别喜欢楼主的学习记录和工作分享，内容很全面，可惜我权限不够，只能加2分。。。