系统的学习Data & Analytics

hxsh2000

对于用户和客户的了解，市场分析的把握，需要对很多数据的分析。刚接触到Google Analytics和Adobe Analytics，还有需要在数据分析中体现出市场渠道和战略是否执行有效的反馈，于是有多个数据需要分析。应该属于Marketing Campaign分析的范畴。这些是销售和市场部感兴趣的。

Traffic-to-lead ratio (new contact rate)
Lead-to-customer ratio
Landing page conversion rates

对于Sales & Marketing更上层的管理团队来说，除了以上的这些主要KPI外，还需要了解获得这些新客户的成本，外加这些新客户的价值。比如获得了新客户后，前十二个月可以得到的销售和利润；比如扣除了市场部门获得新客户的渠道和广告费用外，给与新客户的折扣有大多；又或者虽然获得了新客户，有多少实际的客户在折扣外还在继续用我们的产品。这些除了标准的KPIs外，需要建立好business rules来对这些方面进行分析。

Customer acquisition cost (CAC)
Customer lifetime value (LTV)
Customer value & segmentation analytics

hxsh2000

刚好在做commercial and marketing analytics的活儿，打算去学学之前提到的EDX “Berkeley University Online Market Analytics"这门课，非常的适合，会讲解如何看待市场策略，如何制定价格和分析。结果来了一个The Program is expiring soon，没办法enrol了，可惜啊。看来找到好的而且合适的课程，得先enrol了以后再说，感觉EDX上经常出现好的学校的packaged program有时候会被取消。

hxsh2000

满血复活，继续学习Data & Analytics

运筹小子

mendietaczfls 发表于 2021-2-17 17:10
是的，我在DE这块工作了几年，现在带一个小的DE team。DE这个职位的业务范畴可大可小，取决于公司的规模 ...

层主，想请教一下您DE岗位的面试一般考察哪些内容呀？谢谢啦

mendietaczfls

我经历过的面试差异很大，具体要看岗位的需求。一般来讲，你能对Job Description上的要求有一定的了解或者直接相关经验，那面试问题就不大。

mendietaczfls

运筹小子 发表于 2021-6-20 17:33
层主，想请教一下您DE岗位的面试一般考察哪些内容呀？谢谢啦

我经历过的面试差异很大，具体要看岗位的需求。一般来讲，你能对Job Description上的要求有一定的了解或者直接相关经验，那面试问题就不大。

mendietaczfls

运筹小子 发表于 2021-6-20 17:33
层主，想请教一下您DE岗位的面试一般考察哪些内容呀？谢谢啦

DE圈子不大，可以多多交流

hxsh2000

mendietaczfls 发表于 2021-6-20 21:34
我经历过的面试差异很大，具体要看岗位的需求。一般来讲，你能对Job Description上的要求有一定的了解或者 ...

能不能请你分享一下，Data Engineer的整体要求和需要用到的工具和语言。那些方面是最重要的

mendietaczfls

hxsh2000 发表于 2021-6-22 10:12
能不能请你分享一下，Data Engineer的整体要求和需要用到的工具和语言。那些方面是最重要的 ...

没问题，这两天事情有点多，周四周五的时候我找时间写一点比较详细的分享

RENZHAJ

我也算这个方向
SAP OTC and BW
Data warehouse
Power BI
Azure data integration platform

mendietaczfls

hxsh2000 发表于 2021-6-22 10:12
能不能请你分享一下，Data Engineer的整体要求和需要用到的工具和语言。那些方面是最重要的 ...

上周公司各种行政琐事，耽误了回答问题，今天补上

现在市面上对DE的最普遍要求就是会写Python，而Python基本也是DE需要用到的最重要的语言了。

我把我的DE知识分享一下，没涵盖到的内容可以接着聊。

首先软件运行环境分三种，虚拟机，云原生和Hybrid（即两者结合）。虚拟机运行在云服务商上(AWS, Azure, GCP等）或数据中心的服务器上。如果不考虑云服务商提供的elastic scaling的服务，虚拟机的特点就是你的算力由其硬件配置决定。假设公司里所有的软件环境都是虚拟机（甚至bare-metal），你的数据仓库需要多少内存，硬盘容量，CPU这些都得有大致的规划，不然就会出现例如发现内存不够需要临时插一条新内存的窘境。（亲身经历）而云原生是上述窘境的永久解药。如果你的整个数据栈都是使用的云原生服务，比如AWS大礼包，i.e. Kinesis (streaming), S3 (Data Lake), Lamdba/Step Function (ETL and Orchestration),  Redshift (Data Warehouse) 等，那你就彻底从底层的硬件折磨中解放，可以专注在数据处理的逻辑层面。

DE的工作究其根本，就是一个把数据从源头取来，通过转化，再把它放到目的地的工作，即ETL。市面上有不少例如Informatica, Qlik, Databricks等的工具，可以让你Drag and Drop轻松实现搭建ELT pipeline。大部分企业的需求，这类软件基本都能满足，不过这些公司的pricing model都是收的license fees，也让不少公司望而却步。以上说的这些产品都是proprietary technology，都是要付费的。

一个好的科技栈当然不能缺少open source software，在DE领域，open source软件也是当仁不让，例如Apache Spark, Apache Kafka, Apache Airflow, Apache Beam, Apache Nifi, Apache Flink，根据不同的使用场景，它们都能独当一面，是个中翘楚。尤其Saprk, Kafka, Airflow相信对于接触过DE的人一定不陌生。

在数据储存方面，主要三大类是数据池，业务型数据库和数据仓库。数据池就是dump，各种结构型的非结构型的，不同格式的数据都可以往里面放。话虽如此，如何index数据池，不让它真正成为垃圾堆也需要设计和巧思。业务型数据库，注重的是transaction的速度和效率，例如电商的业务后台。数据仓库，一般不注重速度，不同的使用场景需求也千差万别，但归根结底是为了以下几个原因，处理批量数据或实时流数据，以及高效的分析现有数据。数据存储是公司命脉，不管是普通的NFS（公司网盘），还是以上所诉的三种，丢失数据的风险是不堪设想的，所以数据存储方面的产品一般都价格不菲。proprietary technology，云服务自不必说，open source一般也有commercial version来分一杯羹。

说了这么多的工具，那搭建一个公司需要的数据栈，用哪些产品比较合适，收费的还是open source，如果使用收费产品，如何justify费用，而且我还没提到Data Discovery, Monitoring, Data Governance, Data lineage, Data quality，log management等等。用怎样的基本构架和框架去设计数据栈，This is when the experience kicks in. 甚至如果公司需要你去管理你team的科技栈的buget，为了省budget，有的时候不得不忍痛割爱。

以上讲的是工具和语言类，In a perfect world，如果你的Data Stakeholders能给你完整的需求，包含数据结构，速率要求，数据量等等，那这份工作自然是一个相当适合上班摸鱼的工作了。但根据我的自身经历，大部分公司的Data Stakeholders对数据以及工具的了解有限，很多时候，你需要提供适量的education，反复求证，甚至准备一个backup plan（如果发生之前商量的需求全部需要推翻的情况），而这就是DE考验耐心的部分了。

写了不少了，有哪些没提到的或者有兴趣进一步讨论的，或者需要更正的，欢迎讨论

hxsh2000

mendietaczfls 发表于 2021-6-29 17:47
上周公司各种行政琐事，耽误了回答问题，今天补上

现在市面上对DE的最普遍要求就是会写Python，而P ...

感谢分享哈！

chainray

运筹小子 发表于 2021-6-20 16:33
层主，想请教一下您DE岗位的面试一般考察哪些内容呀？谢谢啦

过去工作经验，做过些什么ETL，automate什么pipe line，处理过些什么文件（parquet，csv  etc）

用过些什么工具，以微软全家桶为例，synapse，analysis services， data bricks， data factory， sql pool，azure data lake storage gen2用得怎么样

能不能写个dax去query tabular model

如果是noSQL的话，澳洲这边marklogic我见过用挺多的（我们以前用的是mapR配合着spark）

基本功的话就是SQL，phyton和powershell

运筹小子

chainray 发表于 2021-7-2 10:07
过去工作经验，做过些什么ETL，automate什么pipe line，处理过些什么文件（parquet，csv  etc）

用过些 ...

好详细啊啊，谢谢啦

hxsh2000

开始看Predictive Analytics方面的，挺有意思的

趁着udacity打折，开始看这一块。现在udacity又75% off了

hmzha2

hxsh2000 发表于 2021-1-31 14:14
难以实现或者遇到现实环境所限，这个模式是可以进行些许改变甚至优化的，这个核心的链条意识是需要有和维 ...

感谢分享！请问board meeting是自己公司嘛？

Laurayin2011

hxsh2000

hmzha2 发表于 2021-7-7 07:32
感谢分享！请问board meeting是自己公司嘛？

是当时工作的公司的board meeting，公司每年销售额差不多十个billion。参加会议的有控股股东的代表，公司的senior leadership and executive team。当时整个global finance team参与的有CFO，Deputy CFO，Chief Treasurer还有我。

在这个层面上来说，这些data & analytics最终只会浓缩到strategy, benefit, cost，还有如何体现在P&L上面。最记得当时CEO看了报表，对于这个相关话题的问题就是，在centralise the IT & analytics function后，为什么各个部门还有这部分相关的费用。这个就是看问题角度/高度的不同和理解了

hmzha2

hxsh2000 发表于 2021-7-10 15:04
是当时工作的公司的board meeting，公司每年销售额差不多十个billion。参加会议的有控股股东的代表，公司 ...

什么算是senior leadership的title呢？你参加的时候是什么title呀？

hxsh2000

最近和以前一起工作过的同事或者上司聊了职业规划和职业生涯的相关话题，觉得到了一定的年纪，特别是五十几岁以后，职业生涯或者工作机会会大大的减少。而且到了一定的年纪，学习和接受新知识和新事务的能力也变得很难，非常有挑战性。

其中一位九十年代就是Nike的supply chain director，在当时经济危机时被裁，虽然经验非常丰富，却也在当时五十几岁的时候，找不到好的工作机会。之后他在Nike的一位下属跳槽到另一个公司，把他找进去，成为了他的下属。之后就在一个中小型公司做着项目经理，多熬了十年然后退休。

另一位是大公司的CEO，09年经济危机被裁，五十几岁的时候也没找到什么很好的机会。而后也是之前的下属在跳到大公司当CEO后，把他找过去做了几年的Executive / GM。

而很多之前合作过或者一起做过项目的SAP，Oracle Expert的合同工，很多也曾经在三十/四十几岁的时候，做着manager甚至director的工作，而到了五六十岁的时候，渐渐的downsizing了。

hxsh2000

有个有趣的话题，可以有个开放式的讨论：

在大型连锁的零售店里，店里的数据和信息只有到了客户结账的时候，才会开始。而结账甚至填写信息，只占到了客户在店里实践的不到15%。那么在现如今，或者在可预见的未来，有什么好的办法或者解决方案来提高从客户入店一直到结账这个时间段的数据收集，以此来提高各个连锁零售店里的运营，效率，销售额等的分析呢？

cathyqk

hxsh2000 发表于 2021-7-11 10:12
有个有趣的话题，可以有个开放式的讨论：

在大型连锁的零售店里，店里的数据和信息只有到了客户结账的时候 ...

欧尚麦德龙苏果会员卡听说过吗？

liz@aus

hxsh2000 发表于 2021-7-10 15:25
最近和以前一起工作过的同事或者上司聊了职业规划和职业生涯的相关话题，觉得到了一定的年纪，特别是五十几 ...

的确很多行业都有这种现象。

运筹小子

hxsh2000 发表于 2021-7-11 10:12
有个有趣的话题，可以有个开放式的讨论：

在大型连锁的零售店里，店里的数据和信息只有到了客户结账的时候 ...

积分鼓励顾客consent to privacy data collection包括帅哥美女的俏脸蛋,然后人脸识别，进店就开始收集数据

cathyqk

hxsh2000 发表于 2021-7-10 15:25
最近和以前一起工作过的同事或者上司聊了职业规划和职业生涯的相关话题，觉得到了一定的年纪，特别是五十几 ...

我现在的同事，一个５０多岁的local老头，之前是TELSTRA的经理，现在他上面两级的Director是他以前在Telstra的部下，但他说他进来后才发现老部下在这。

hxsh2000

待会儿有个面试，给一个中小型的能源公司，建立整套数据平台，整合数据，并且做客户需求模型分析和预测，并且提供如何更有效的进行能源批发市场采购和竞价的数据支持。应该会是很有意思的一个面试，可以知道能源公司的大头们到底是如何看待数据和模型，和重要性的。

运筹小子

hxsh2000 发表于 2021-7-20 10:38
待会儿有个面试，给一个中小型的能源公司，建立整套数据平台，整合数据，并且做客户需求模型分析和预测，并 ...

好期待楼主面试后的更一步分享

hxsh2000

跟公司里面销售和市场最大的头聊了一下，初步了解了公司里面数据的现状，和打算如何实施新的数据系统的想法。由于最高层对于有多少个系统，需要把哪些数据整合进来，没有很好的了解，初步想法是能够在新的平台上做customer segmentation, predictive forecast analysis, pricing analytics等，这些大部分应该可以来自于CRM & Billing系统的，而没有必要把ERP/Finance Systems的数据一起整合。然而这个Boss也有谈到也许可以整合进各种费用数据，那么可以更好的分析Pricing, margin, profit等，而这些属于CFO的范畴了。于是约了下周和CFO, CIO一起再聊一下。

其实在很多中型公司里，高层都有很多Initiatives来优化数据以此来提供更好的decision making的，现状也往往是整个流程都是broken，有什么用什么，各自为政。于是经常性的会出现很多很多的各个部门报告不同的分析结果，然后上层开始扯皮的现象。在大公司做过的，很多到了中型公司后，会提出这些方面的优化的，比如这个销售和市场的Executive GM，去年就和公司的CEO聊过，也得到过一定的支持。这些刚好有这个机会，看看能不能把这个项目给做起来，从和公司高层取得正式支持和预算开始！

对于这块，已经有一些sales related skillset相关的了。一方面需要让高层们觉得这个可以做，能够达成，而另一方面又需要给出一定的现实状况。需要好好的把握

hxsh2000

在和这些各个公司的高层的面试和了解中，越来越确定了我自己的兴趣和关注的事情。就是能够有机会从无到有，建立起一套自己坚持和认为是best practice的解决方案，并且让其能够在一定的时间优化之后，这个解决方案能够自我良好的运行。建立起一套数据整合平台如是，以及建立起一套整合的分析系统开发流程也如是。

而前段时间建立的分析报表开发流程，也暂时运行的不错，虽然还是很需要依赖business SMEs来提供具体的支持。随着不停的在这个过程重educate整个流程上的参与者，对于数据和具体的过程的知识积累，渐渐的每个人都在这个过程中有了提高。从原来完全依赖于少数人的开发，看到了更多人参与进来，这些参与者已经可以问出比较critical的问题和可以给出valuable的探讨意见了。算是一个很好的开始吧，至少最初的educate已经算很成功，感觉即使我不再参与这个过程，里面的参与者也会继续积累相关的知识了。

hxsh2000

运筹小子 发表于 2021-7-12 23:36
积分鼓励顾客consent to privacy data collection包括帅哥美女的俏脸蛋,然后人脸识别，进店就开始收集数 ...

感谢分享，这个是一个好方法，在澳洲这边的应用应该还在初始阶段吧。这边很多人对于image privacy还是挺重视的
另一个方面，如果客户进店，那么如何能够收集到比较好的数据呢？
请问有没有什么比较成功的案例可以借鉴，哪个国家的都行