|
|
此文章由 hxsh2000 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 hxsh2000 所有！转贴必须注明作者、出处和本声明，并保持内容完整
运筹小子 发表于 2021-8-5 07:18 
楼主，我想问问搭建整个azure和aws平台比起那种分散application汇集到sql用python做分析的，是不是更能确 ...
aws, azure本身是提供一个平台和技术支持，让single source of truth理念更能够实施而已。single source of truth分几个层次，各个部门的参与，才能实现。我在现在的公司做了如下：
1. Data Source standardisation，确定各个不同applications之间不同数据的single source，比如有Salesforce CRM, Billing Application, ERP Finance，那么在这几个系统间，哪些系统在什么条件下，在分析什么的时候是key source。然后确定哪个系统分析什么。在ELT到aws, azure之后，确定data assets的来源和分析目标
2. Data Assets standardisation，在确定在什么条件下，数据源的single source of truth后，需要把data source标准化为data assets available for analysis。就是让data engineer和data analyst在分析数据和提供insights的时候，能够在特定分析要求下，能够从single data asset来做further development & analysis。比如我分别对于sales, operations, logistics都建立一个包含比较广的meta data assets，之后无论业务部门还是数据部门，要做分析，必须从这里拿数据。如果有需求更多的开发，需要update meta data assets，需要让owners和我一起approve
3. KPIs standardisation，在确定了data source, data asset这些technical的single source of truth规划后，还需要对经常使用的分析standardise KPI calculation。这个主要避免不同业务部门针对各自部门的指标，经行优化和美化，而导致各个部门对相同的KPI做出不同计算规则的data integrity issue。这个在高层的报告中，经常发生
使用sql / python也可以达到以上的要求，理念是一样的。然而由于sql / python的compliance / control和难以中心化，让以上的控制很难得到实施，因为各个部门能够各自开发自己的分析，那么非中心化的系统，很难达到以上三点的需求。 |
评分
-
查看全部评分
|
12月3日随笔－ 在自己的城市做一个游客 (2011-12-3) astina 
在工厂的那些日子（１０,１５,２６,３５,４５,52）（附加照片） (2008-8-5) youyuan 
楼主:hxsh2000
发表于 2021-7-25 16:38
