系统的学习Data & Analytics

hxsh2000

重新温习一下SQL的各种语句，作为Data Analyst开始前的要求。之后还有Python，也是开课前要看的。作为核心的要求和有价值的（就是工资高的），技术类的基本和应用还是得拿下的

感觉无缝衔接的继续看，有点累。这周放轻松点，就当时休息一下。

hxsh2000

比较想了解一下，从无到有，如何建立起来一个AWS analytics platform (data lake)。然后如何对接数据源系统，例如ERP, CRM等，建立相应的Data Assets。

AWS Data Lake: Object Manager:
Amazon S3: Object storage built to store and retrieve any amount of data from anywhere
https://aws.amazon.com/s3/?c=a&sec=srv
AWS Lake Formation: Build a secure data lake in days:
https://aws.amazon.com/lake-form ... rds.sort-order=desc

hxsh2000

还有一个AWS Redshift：
AWS Redshift: Analyze all of your data with the fastest and most widely used cloud data warehouse
https://aws.amazon.com/redshift/ ... rds.sort-order=desc

hxsh2000

早上和一个中型公司（$500m revenue / year）的CIO聊一个工作机会，head of analytics，需要帮公司选择和建立起整套analytics & AI的整合平台，设计和管理整个业务部门和财务部门的需求和合作开发流程，提高数据应用能力和引进一定的人工智能和自动化。聊的还不错，跟现在做的也差不了多少，需要加入更多的底层的技术能力和理解，从平台建立到数据工程都需要涵盖了。

hxsh2000

数据和分析方向的，从管理层（一般是executives及以上）角度来说，都会有挺清晰的方向，要求和挑战。一方面，是统一现有的各种系统，能够做到拿到的数据能够反映真实的公司现状和趋势；另一方面，依靠新技术和工具，比如ML和AI来增强分析和预测能力，提供可靠的或者接近模型。

业务和技术是相辅相成的，互相促进，相互的创造价值。很多时候，解决方案都需要双方的努力，才能成为更好的解决问题。在这个时代下，随着automation, work flow越来越广泛的应用，企业的流程，既包括了业务运营流程，也涵盖了系统流程，一起完成的。先以技术的视角说说对数据的的理解，

以下仅以数据方面的视角来讨论，因为统一平台的优点不仅仅体现在统一数据上的，还有非常重要的标准和统一化业务和系统流程，而且由规范化后带来的好处，比如外包这些统一的业务标准流程，甚至技术支持部门。

2000~2010年这段时间，大家都认为单一化的系统平台，比如ERP外加Business Intelligent的解决方案，能够很好的把公司所有业务流程和数据都集成到这个平台上。即客户数据，销售数据，财务数据，库存和采购数据等，而其他的应用和小平台也都可以通过XI/PI的中间件把数据集合在这些系统上。SAP和Oracle ERP这种集成化解决方案成为主流。也就是把这些ERP的数据库和数据表，当作统一和唯一的数据源，以此来实现single source of truth的数据同一性和透明化。

而现阶段，实施统一的业务系统平台（比如ERP），来促使数据统一化和同一性的目的，变成了一种可供选择的方式而已。因为data lake cloud的兴盛，提供的便利性和兼容性，使用单一的data lake来管理公司的所有数据，成为了一种很流行的解决方案。这样使得公司能够摆脱大ERP系统平台的束缚，选择一些重要的其他系统的解决方案，比如Salesforce CRM，Workday HR等。并由Data Lake为中心，来调配数据的接口，链接，结合和分析。当然，新的模式肯定会有新的挑战，趋势如此，总会继续向前。对比公司上层来说，就是如何减少费用，增加价值。

hxsh2000

业务部门要什么呢，根据不同的层级，不同的部门，要求也都是不同的。越上级(executives及以上)，越需要数据的同一性和统一性，能够用很简洁的图表或者趋势图，描述出公司的现状和未来的趋势分析；中层经理级别的(senior managers / managers)，由于负责比较具体的职责并且负责具体的达标性KPIs，所以需求的很多时候都是既有具体的指标，并且需要分析结果和能指导如何进行下一步指标；基层人员(leads / SMEs / Users)更多的需要给出具体的需要跟踪和下一步的任务。

对于管理层，非常重视的是数据汇报和分析的一致性(data integrity & data quality, single source of truth)，要不会经常出现CFO给出一个数据，然后Sales最大头给出对同一个指标而完全不同的数据。于是在最高层的会议中，经常性的最后变成了讨论到底谁的数据才能说明问题，而非做出下一步有价值的决策上。另一个是数据能够反映出现实还有趋势。还有就是如何利用分析和新技术，提高分析结果的可靠性，还有给出有价值的原因分析。

对于single source of truth，实际上不仅仅只是技术部门实施的数据单一性来源与汇报。还涉及到整个业务部门如何管理数据的汇报和KPIs的定义和设定上。现实情况，由于业务部门拥有一定的数据开发能力，经常独立的开发自定义的分析模型，往往使得在向上层汇报时，不同的部门使用对于自己有利的KPIs，甚至对于统一的KPIs而使用不同的定义，使得管理层无法有效的并且统一的了解到现实企业运行的现状。

所以在这个里面，一方面，需要让技术部门统一数据源的导入，并且对于各个数据报表的数据源进行规范化，让独立且自定义的分析模型必须建立在数据部门提供的meta data assets上面。另一方面，规范化业务部门的使用数据和自定义分析模型，建立起一套KPIs可供查询的data dictionary。如果是最高管理层设定的KPI，那么所有的分析和定义必须从那里面来。而如果是中层的KPIs，那么建立可供request / approve的流程，并且使用IT的技术实现和管理这个流程。

另外一些就涉及到data governance，data integrity，data quality如何实施和管理上了，也都是需要技术，数据和业务部门共同参与与协力才能够比较好的实现的。

hxsh2000

Udacity的短视频加大段文字，介绍和学习使用SQL和Python的软件和编程，实在用不习惯，之前的Tableau也是。还是喜欢Udemy上面 Dr. Angela Yu 《100 Days of Code - The Complete Python Pro Bootcamp for 2021》的长视频加练习来学习Python。看来Data Analyst Nanodegree绕不过去Python的基础学习的，还是得一步一步来的，急不得哈

现在的兴趣和关注点都在Data Engineer和如何建立Data Lake上面，本想先暂停Data Analyst Nanodegree的课，先学Data Engineer Nanodegree的。结果Udacity的课，一旦交钱开始了，既不能中间暂停一段时间再开始，也没办法转课时换课，非常不友好，没办法改变学习计划。

运筹小子

hxsh2000 发表于 2021-4-19 22:52
Udacity的短视频加大段文字，介绍和学习使用SQL和Python的软件和编程，实在用不习惯，之前的Tableau也是。 ...

赞同。我也发现这个问题。本来想趁udacity 打折买入后来发现一旦付钱就enrol不能自选开始时间很不人性化，虽然迟迟买不下手

一粒小沙子

hxsh2000

运筹小子 发表于 2021-4-20 07:43
赞同。我也发现这个问题。本来想趁udacity 打折买入后来发现一旦付钱就enrol不能自选开始时间很不人性化 ...

是啊，udacity的收费在网上教育的几个主流edX，Coursera里算是高的了，结果还这么不Flexible。

hxsh2000

最近data & analytics出来了很多很好的职位，都是经理级别及以上的。大家有空的话可以看看。

Data & Analytics的几个方向：
Sales Insights and Analytics
Compliance and Internal Control
Financial Insights and Analytics
Operational Performance / Cost Analytics
Health Analytics / Environment Analytics

hxsh2000

下班后和CIO面了第二次，相互的交流了更多的需求和细节。如现状和需要接下来实现的计划和目标，关注的几个方面和自己在这些相关的方面的经验，还有整个技术部门的架构和合作方式。我关注的还是以后的机会和发展，能够得到多少资源来实现相关的计划。这个职位已经可以和整个Enterprise Applications的头头平级，成为IT Senior Leadership team的成员。

我也表现了自己擅长的一面，就是和IT以及整个业务财务打交道，建立和规划Data & Analytics的规范化，优化并统一流程。不足的还是技术的方面，毕竟虽然以前有涉猎，并且近期努力的在工作中提高和学习，相对于在这一行里做了十几年经验的人来说，还是不够的。另外行业也有所不同，这块在面试中讲到的例子也没办法举出公司所在行业的方向。等等结果如何吧，优点和不足都充分展现出来了，看到底优点能不能覆盖缺点了，大老板会不会buy in了。

hxsh2000

继续学习了两个小时的Python

运筹小子

hxsh2000 发表于 2021-4-21 20:18
最近data & analytics出来了很多很好的职位，都是经理级别及以上的。大家有空的话可以看看。

Data & Analy ...

特别喜欢楼主的学习记录和工作分享，内容很全面，可惜我权限不够，只能加2分。。。

strawberry^

hxsh2000 发表于 2021-4-15 20:05
重新温习一下SQL的各种语句，作为Data Analyst开始前的要求。之后还有Python，也是开课前要看的。作为核心 ...

lz有没有好的sql学习资料推荐？书和视频都可以。

hxsh2000

strawberry^ 发表于 2021-4-22 13:44
lz有没有好的sql学习资料推荐？书和视频都可以。

我看的是udacity的补充教材。SQL这块应该很成熟了的，找个课程从头开始学就行，挺标准的其实。比如去Udemy里面找个评分高，并且订阅数多的，二三十块钱的事。

hxsh2000

从一月开始到现在，平均每天学习二点五个小时，很好的成绩了哈

最近好多事情，除了上班和学习，还得准备面试。处于亢奋状态，面试完了后紧绷的精神一松懈下来，有点调整不过来了。有点累了，休息几天让身体恢复恢复！

hxsh2000

可以暂时放下职业和学习，这个周末啥都不想，真舒服。

关心关心自己喜欢的改装车：http://www.oursteps.com.au/bbs/f ... p;extra=&page=8

hxsh2000

最近几个面试，参与的心态都一般般。抱着找到更好的心情去面试，却在面试过程中深切的感受到，要么行业不喜欢，要么直属上司的风格不太合拍，要么职位说的很好，却根本没有资源或者预算去实现那些目标的。

比如上面说到的那个公司和职位head of analytics，在和CTO交流的过程中，是要逐步的从实际出发，慢慢的建立起整个数据分析的团队，并且选择和构建数据分析平台，提升整个公司利用数据的能力。这算是一个非常合理的过程，很好的机会却也非常的漫长。然而这个行业我并不是很喜欢，以前做过几年，行业平均收入不高。所以我自己的计划是在这个公司好好的做两到三年，把团队和平台建立起来，然后可以通过这块经验和职位，跳回到好的行业里。于是在面试中，表现出来的是急切询问CTO关于这块方向的规划和可以使用的资源，能够做什么和实现什么，甚至是接下来几年这个方向的预算。当得到的答案是不明确的和需要从头开始时，实际上是非常失望的。再加上通过交流，公司也并没有那么多资源来应用新的技术平台，于是也就没有列在考虑之中了。公司的CTO也会感受到这种不适合的，我们产生不了面试中的化学反应，甚至在面试完后说我现在的这个行业是非常好的，之后也没有进一步的联系。

觉得最近这个阶段心态有点急，没有很好的耐心，想利用上升期尽量找到好的机会，并通过之后两三年的时间积累下更上一步的经验。实际上这种心态也影响到了这几周踏踏实实的学习和努力，并且面试的准备和面试过程中感受的不适合都弄的有点迷失，对于到底要什么和找什么有点乱了。

需要好好的调整一下，静下心了。并且回归strategic patience，

hxsh2000

和IT部门最高层的面试，也是非常宝贵的经历。以前做的Finance Systems Manager / Project Manager，面试的直属经理的级别都是CIO之下两个级别左右的Head of Corporate / Business Systems或者CFOs，很少参与到IT更高层级的沟通和交流的。就是在CIO/CTO层面上看Finance Systems / Solution，是什么策略，重点是什么，都不好把握和理解。而在Analytics这块，是非常好的机会有可能和IT最高层直接联系和推行战略实施的，可以更接近核心的理解到整个IT的构架，支持和开发的现状和未来计划。

一直以来，和CFOs面试，成功率非常的高，因为明确的知道他/她们要什么，想实现什么，技能的需求和如何展现。现在有机会和CIOs/CTOs面对面的交流，也更好的能够理解他/她们要什么，想实现什么了。这些都能非常好的给出努力的方向，和需要掌握的那些层级的方向和技能经验。

cheapers2003

hxsh2000 发表于 2021-5-2 12:27
和IT部门最高层的面试，也是非常宝贵的经历。以前做的Finance Systems Manager / Project Manager，面试的 ...

积累然后爆发。

hxsh2000

努力多了解analytics / data engineer的领域，粗略的知道如何建立起一个data lake，data warehouse，如何导入整个应用程序的数据到data lake里面，如何建立起level 0, level 1...的data assets，并且主流的platforms and tools。还有这块需要哪些skillsets and technical capabilities

刚好udacity data engineer有个三十天免费的课程，注册了开始看。data analyst nanodegree不让取消，只能每个月$180继续付了

四月投了四个中介的活儿，两个进入了公司二面，两个没有回音。算是都没成功，cases closed。在和各位IT的头头们面试的过程中，用的一些术语和技术方向，有点不在一个频道上面 好好补一补

hxsh2000

第一节课讲的是Data Modeling, RDBMS

Data Engineering 101: Top Tools and Framework Resources: https://analyticsindiamag.com/da ... ramework-resources/

hxsh2000

接着讲的是NoSQL，记得在以前读书的时候，主要还是围绕SQL, Relational Database, Normalisation
NoSQL的核心却并非如此，还是有不少新的知识的(e.g. Apache Cassandra)。

对于之后的章节更感兴趣点，这些就能回答如何建立起data lake，和如何使用的问题了。应该非常实用

Course 2: Cloud Data Warehouses
In this course, you’ll learn to create cloud-based data warehouses. You’ll sharpen your data warehousing skills, deepen your understanding of data infrastructure, and be introduced to data engineering on the cloud using Amazon Web Services (AWS).

Course 3: Spark and Data Lakes
In this course, you will learn more about the big data ecosystem and how to use Spark to work with
massive datasets. You’ll also learn about how to store big data in a data lake and query it with Spark.

Course 4: Automate Data Pipelines
In this course, you’ll learn to schedule, automate, and monitor data pipelines using Apache Airflow. You’ll
learn to run data quality checks, track data lineage, and work with data pipelines in production.

hxsh2000

Apache Cassandra是NoSQL(Not Only SQL)的一种，被众多公司所应用，有Apple, Netflix等。
Apache Cassandra的数据结构是根据需要查询来建立表格的，需要什么样的查询，就会设计出相应的数据表。因为没有Join这个功能，于是一个查询就需要一个数据表。

NoSQL的特点就是高可用性，高性能，可扩展性强（能够通过增加系统和服务器来增强性能），并且几乎没有停机时间。

hxsh2000

Cloud Data Warehouse

Data Warehouse Data Architecture:
-- Kimball's Bus Architecture
-- Independent Data Marts
-- Inmon's Corporate Information Factory (CIF)
-- Hybrid Bus & CIF

hxsh2000

突然间感慨一下，随着年纪增加或者创伤记忆，那种初生牛犊不怕虎的气势没有了，虽然说好听点是得到了很多宝贵的经验。

14年的时候开始骑公路车，每天都在刷新最好记录。当时有一段一公里多的下坡路，穿着锁鞋使尽全力冲，最后刷到了那一小段，时速达到八十几公里每小时，从来没有担心和畏惧过，一心想的就是如何提高成绩。

一年多以前，恢复训练的时段，一个下坡段，骑到了五十几公里每小时而已，一不小心没控制住，飞了出去，朝着路边的大树飞撞过去。最后还好没撞上，却也满身磨出血，也幸好没穿锁鞋，要不会更惨。

于是现在骑车，不敢穿锁鞋，也不敢再冲刺刷时速了。觉得心态老了

工作上其实也是，经历多了，特别是有时候有过不太好的经历，对心态或者风格会有很大的影响。

peterzhaoau

一口气读完，佩服楼主的冲劲和坚持，也从楼主的心得体会中学到很多，祝楼主好运！

sz2008

好贴！好贴！

hxsh2000

工作中继续完善整个开发和配合的标准模式，发布了不少的标准流程。这个月的亮点是，除了财务，把销售和市场部门的需求也接过来不少，并且和上层争取到了额外的人员配置。

工作中的Thought Leadership非常的重要的，刚开始我注重的就是全部的财务数据分析，由于提出的整套解决方案和展示了一定的能力能够管理整个流程，并且和各个部门都沟通顺畅，于是很自然的各个部门都会通过我来管理这个流程，也就把很多原来散落在各个部门的并没有很有效率的数据分析模式，转移到我这边来。由于需求的增多，也就有了更多的机会拿到更多的资源和人员配置。