系统的学习Data & Analytics

Leositu

楼主厉害

hxsh2000

对于有AWS Data & Analytics经验的，打算了解Microsoft Azure Data & Analytics平台，Udemy 《
DP-203: Data Engineering on Microsoft Azure》这么课非常有用。

其中的第六十八节《Traditional vs Modern Warehouse architecture》和六十九节《What is Synapse Analytics Service》的介绍，包括了Azure Data Factory (including Data Flow)，Azure Data Lake Store Gen2，Azure Databricks，Azure SQL Data Warehouse (Dedicated SQL Pool)，Visualisation (Power BI)，并且简略的讲解了主要的作用。Synapse的介绍后，和自己之前理解的和AWS Redshift是近似的，有很大的区别，实际上Synapse是当前以上工具的总称。这样子就很容易把原本AWS平台上的知道的各个不同用途的工具，做出相应的方便的理解了。

hxsh2000

SAP S/4HANA实施后，CDS View & Custom CDS View非常的受欢迎，和Fiori，SAC配合的很好，成为Operational / Transnational Performance Reporting的一个数据来源。

《SAP - ABAP CDS Development User Guide》：https://help.sap.com/doc/6bbeffd ... v_user_guide_EN.pdf

mendietaczfls

hxsh2000 发表于 2021-8-21 21:09
突然就这样达到了目标，行业公司和职位都是之前非常想要的，也挤进了200K+的阶段了。

却和九年前的那个七 ...

恭喜楼主啊，真是替楼主开心，以后也要像楼主多学习讨教

hxsh2000

mendietaczfls 发表于 2021-9-2 22:38
恭喜楼主啊，真是替楼主开心，以后也要像楼主多学习讨教

谢谢哈，你做的数据工程非常的热门的 一起努力

hxsh2000

这个市场已经疯了吗？收到了一个中介的邮件，说有个数据经理的职位，一年合同，居然Daily Rate可以给到$1,500每天。感觉是不是有点跟不上形势了，即使我之前找的也是vendor $1,400, contractor $950左右来做急需要的项目而已啊。

大家如果有好机会，最近这阶段时间可以好好的议议价哈！祝大家找到好的机会和拿到好的收入，好运好运

hxsh2000

说说管理的话题吧，这些只是我自己的理解和从自己的亲身经历/看到的总结和体会出来的而已，并不一定是真理。

西方社会在罗马帝国甚至更早之前，选执政官的制度就是通过元老会选举外加在人民面前演讲取得的支持。所以：说并且得到幕后权力的支持，是上位的非常重要的条件。

翻译成现代语言，说就是要能够提供非常好的远景，要能够一边描绘出你想做的或者正在做的事情的美好的外加，外加你以前所作的成就，来吸引大家得到有效的支持。做出成绩是一部分，更重要的是说，让大家相信你做的和所描绘的。另一方面，是得到有权有影响力的人的支持，并且通过说或者沟通，让这些人觉得你是能够帮他们完成想做的事情，或者处于同一阵线，亦或者能够代表他们的利益。这个意思就是要紧跟着现有在公司里有权力和影响力的各位上级，有效的理解他们的理念和想做的东西，成为一定的代理人和可以发声的渠道，在同一阵线上互相支持做出成绩。所以在公司里，那些很能说，并且很能在现有管理层前展现能力的，得到更多的机会，升迁也更快

通向管理的另一条道路，是通过扎实的积累并且踏实的做出成绩和业绩，并且展现足够强的业务能力，来达到成为技术管理者。

hxsh2000

权力有个边界，每个地方都有权力的核心圈子以及圈子内极少的核心人员。在这个小圈子里，参与者能够代表着自己的利益，大家讨论并共同做出大部分的重大决定。要进入这个核心圈子，得有人愿意举荐，得在进入前通过很多考验，并且取得大家的信任和认可，最终才会成为其中的一部分。

进入后，将不再仅仅只是执行和做着给与的任务或者项目，而是能够参与影响和制定策略和目标，并且朝着对自己或者所领导的团队有益的方向引导。积累人脉，积累团队，积累经验。

hxsh2000

以前在大公司的时候，在Division/Business Unit Level，虽然是Lead职位，然而并没有意识或者机会接触到战略甚至任何接触到权力的核心的。一直到了17年以后，开始有了很多机会接触到本地的，亚太的甚至全球的Board Members和管理层，也到了时间/有了意识开始关心和研究起这些人，还是有不少有趣的发现和心得的：

很多的时候，我们会看到很多的管理层，在一个公司把事情没有做的那么成功以后，总能够在其他的公司甚至得到更好的机会，继续领导着公司或者项目，实施着她们的战略和施行原本的措施，并且在几年后继续循环着。其实仔细想想，这些人还是有非常大的优势的：

1. 不同的公司，在不同的时期，针对不同的战略，总是需要不同的领导者。有的领导者，是非常好的开拓者，适合制定战略并很好的执行；有的领导者，是非常好的守成者，能够带领队伍维持公司的优势并且比较稳定；而有的领导者，是带领着公司改变，打破旧有的一套体系......很多时候，对于比较保守的大公司，特别是遇到不好的状况而竞争力下降的过程中，内部抵制改变的力量还是非常的强大的。那么这个时候，新的领导者首先考虑的是带来改变（大家也还记得奥巴马当时的口号“Change“吧）打破原本固守的公司文化和做事风格，那么就不得不找到引领变化的领导者来进行这一切。然而带来变化并成功的建立起一切，特别在环境不好而导致的资源不足的时期，比较有经验的领导者特别是领域内的专家往往不愿意接这些职位，因为越懂的话有时候越不容易接受大变动，因为知道成功率在资源不足时并不高。因为这个时候的主要目标是Change，那么找到的人也必定是实施Change并且能够展示改变决心的领导者。而很多时候接这类活儿的领导者，在打破现有的(Change)以后能不能建立起一套行之有效的，是尽人事听天命的，因为有经验的，已经经历了很多，懂得要成功，需要天时地利人和才能成事；而经验不足的，更多的会很努力的去做，并且得到经验。做成了就是下一代的领导者，做不成了有了更多的经历，继续带领着下一个需要改变的公司

2. 即使有了不那么成功的经历，也能从中学到很多，并且得到很多心得体会，那么这些经历总能够让新的公司避免踩到那么多坑，也能够提高一些成功的机会

3. 再次在每个过程中，在和不同的其他的领导者和下属的合作和相处过程中，慢慢的磨合和选择志同道合，共同目标和很好配合的人员，也可以在这个过程中筛选和定位好各种人员的位置。那么这样子的团队也会在今后的互相协作和资源共享占有更多的优势。也就是说，有经验会比没有经验的，好得多的多。

hxsh2000

向各位数据分析行业里的朋友请教一下，请问在这个行业中，如何找到那种数据分析或者数据科学前沿的交流平台和论坛。特别是类似于Chief Data Officers等和数据咨询公司高层们，相互交流的邀请会或者线上线下业务交流会。

kellyshenkailin

Pippa 发表于 2021-1-29 22:05
好奇，如果没有足够的行业知识，如何做数据分析呢？建图表啊这些只是个外壳，灵魂还是对数据的理解啊。 ...

很有道理

hxsh2000

mendietaczfls 发表于 2021-6-29 17:47
上周公司各种行政琐事，耽误了回答问题，今天补上

现在市面上对DE的最普遍要求就是会写Python，而P ...

"说了这么多的工具，那搭建一个公司需要的数据栈，用哪些产品比较合适，收费的还是open source，如果使用收费产品，如何justify费用，而且我还没提到Data Discovery, Monitoring, Data Governance, Data lineage, Data quality，log management等等。用怎样的基本构架和框架去设计数据栈，This is when the experience kicks in. 甚至如果公司需要你去管理你team的科技栈的buget，为了省budget，有的时候不得不忍痛割爱。"

可以讲讲“Data Discovery, Monitoring, Data Governance, Data lineage, Data quality，log management，用怎样的基本构架和框架去设计数据栈”这一块吗？尤其是这些如何在技术上如何来看待和实施，有什么比较热门的工具？

我感觉是，你做的不止Data Engineering这块，以上都涉及到不少相关的Data Platform领域了

hxsh2000

在数据分析领域，Centralised & Standardisation & Governance还是Data & Analytics & Visualisation领域的主趋势。从原本的Operating Model：IT技术部门单单的提供平台和管理数据库(e,g, Windows Server + Microsoft SQL Database Server)，业务部门根据自己的需要，负责建立和维护Data & Insights团队做各个部门所需的数据分析；渐渐的转变为IT负责Data Platform，管理数据平台和数据安全，数据部门独立成为一个和IT平级的战略部门，管理数据分析的开发，维护，Governance and Compliance，业务部门掌握着数据的需求和数据拥有者。

在当前趋势下，这么做的好处是，除了以前一直提到的：通过集中化数据开发和维护，提高开发和维护的效率，减少同时维护多个数据平台的难度，并且避免各个部门在这块领域的重复投入和资源浪费。实际上就是一直以来IT在其他领域走过来的development & support centralisation & standardisation --> outsource；其次是整个公司的数据统一性和同一性所带来的管理决策优化。这块的好处是比较能量化的，主要还是提高效率和专业化所带来的效益，能够做出足够吸引管理层注意的business case。

另一个好处，或者说很多公司在做business case的时候，除了效率和效益外，经常会提到的重点，就是数据科学和机器学习所带来的potential benefits。各个行业，无论是垄断的，半垄断的还是充分竞争的，都会被放在每个领域里，被相互的比较着。甚至垄断的政府部门，那么就是不同政府部门，或者不同国家和地域相似职能的政府部门之间。而在技术或者数据方面的当前趋势下，如果一个公司不进入大数据，数据科学做Predictive Analytics来提升公司的竞争性，那么很容易在公司竞争层面上，被benchmark down，所以很多公司的管理层，也或主动或被动的，进入到这一块。而这块的business case也很好的给出来。领先的公司在整个行业里宣传着从中得到多大的益处，提升行业影响力和声望；稍微落后的公司加大投入描绘着美好的前景并且承诺快速的赶上。而这一块的战略，是需要通过data & analytics centralisation来实施的。

所以从公司和管理层的战略和管理上，这一块是大势所趋。这个趋势会使得业务部门在数据分析领域，被动的接受很多的governance & compliance，不再那么随时的/快速的从事数据开发以此满足需求，甚至原本在业务部门中从事这块业务的data & insights的人员，从长远来讲，传统的数据库和Excel Modelling的开发技能，不得不面临着技术的升级，职位也可能受到影响。

这个趋势，就如曾经的IT Development & Support，Finance Centralisation and Transformation，Shared Service Outsource所经历的过程类似，也会慢慢的经历这个过程的。一如曾经在这些方面，大家也都觉得很难甚至不可能一样，在不停的被质疑过程中，终将会被慢慢的实现。因为技术的日新月异，因为新管理理念的推出，因为管理层和资本的有效推动......

hxsh2000

《How to Become a Scientist of Your Own Emotions》-- A Q&A with researcher Marc Brackett about how to cultivate emotional intelligence in ourselves and our kids. BY JILL SUTTIE | SEPTEMBER 16, 2019：