系统的学习Data & Analytics

churq

hxsh2000 发表于 2021-2-6 22:30
八种Data Stories: Change Over Time / Hierarchy Drill Down / Zoom In & Out / Contrasting Values / Int ...

谢啦啊

churq

我觉得学习使用这些工具很简单 重点是怎么用这些工具解决问题。我们面试一般只有面试contractor的时候才会面试具体的专业知识。一般perm的面试不会大量的问专业知识 而是比较注重逻辑思维能力和快速学习的能力。建模 编程 和data visualisation只要有一个够强就行。

hxsh2000

开始看AWS Web Service方面以及Redshift这些服务了，和工作相关，算是很好的学习。Data Engineering Nanodegree的一个月免费期快用完了，还剩一周。争取在到时间前把视频看完

而Data Analyst Nanodegree已经提不起兴趣学了，这块还没打好Python的基础，学的时候几乎没啥效果。

其实每个公司使用Data Lake和Cloud Data Warehouse的方式千差万别，对于多系统协调共同完成所有的Reporting and Analytics的构建非常的重要。需要设计好和清晰化每个系统能拿到什么数据，如何简洁的使用平台和工具来实现。另外在技术方面的实现外，业务流程也需要调整到位，要不很容易出现原始数据出问题或质量低下，又没人弄明白，然后分析无从下手或者经常出错。

HISOKA

Undacity 的那个免费课月底结束吗

hxsh2000

HISOKA 发表于 2021-5-24 16:24
Undacity 的那个免费课月底结束吗

Udacity的免费课程是给三十天的免费时间，看你什么时候Enrol的，加三十天就是截止日期。过后要付全费，也就是一个月接近六百刀。在三十天快结束的时候，尽量提前几天取消，要不可能会被收费，即使能退回来，也要去申请什么的，比较费时费力。

hxsh2000

到了深水区，不熟悉的领域了。操作性的

Amazon Web Service:
Set up Redshift: https://docs.aws.amazon.com/reds ... /rs-gsg-prereq.html
Create S3 Cluster: https://docs.aws.amazon.com/Amaz ... rguide/Welcome.html
Create RDS Database: https://docs.aws.amazon.com/Amaz ... rGuide/Welcome.html

沧海一粒米

加油

hxsh2000

整个构架也越来越成型了。之前看这些图，也就看看不深刻不容易理解。现在有这个课程的一些解说，外加之前几节课的一些基础知识积累，渐渐理解了各个套件是做什么用的。

Data warehouse system architecture：https://docs.aws.amazon.com/reds ... m_architecture.html

AWS serverless data analytics pipeline reference architecture：https://aws.amazon.com/blogs/big ... rence-architecture/

fengliu1234

关注

hxsh2000

最近工作比较忙，而且压力比较大，学习的速度明显慢了好多。争取继续看完数据工程的视频吧。还有二十个小时

hxsh2000

继续看，也纠正了我以前理解的Data Warehouse和Data Lake的却别。
4. Data Lakes with Spark
5. Data Pipelines with Airflow

hxsh2000

网络里的处理能力，更多的是协调各种资源一起完成任务，需要计算那种方案最佳。基本的处理能力：
CPU ~~ 200 Memory
Memory ~~ 15 SSD (Storage)
SSD ~~ 20 Network
Latency Numbers Every Programmer Should Know：https://colin-scott.github.io/pe ... active_latency.html

怪不得每次和以前一个资深的SAP BI Consultant聊为什么一定需要S/4 HANA的时候，他不停的强调速度，从技术方面来讲的。而在我从业务方面来看，S/4 HANA不仅仅是处理速度的问题，而是需要辅以流程和重构才能发挥出S/4 HANA的能力，也要有足够的公司文化和需求，才能更好的利用起来。

技术的升级和更新是实实在在的，效果也是巨大的，在某些领域也是有非常大的需求的。这些都是和大数据和处理速度息息相关。可澳洲的公司，到底有多少需要这么实时的数据用以分析，有这种需求甚至公司文化来支持呢？至少之前做过那么多家公司，还几乎没有很大的用武之地。只是因为原有的版本快不再支持了，所以不得不升级。

hxsh2000

整个五月每天平均学习时间才0.8个小时

hxsh2000

记得在澳洲的大学毕业后，得找个比较有挑战性的目标，人生才比较有意思。我既不喜欢维持在低级别里混一生，个性也害怕没有挑战没有目标而胡混。而普通人不靠运气，又比较有挑战性的事情，我觉得是在澳洲的大公司了当高管。所以当时就觉得，有生之年，一定要做到General Manager或者部门的Head。即使是要转做生意或者从事其他的事情，都要达到这个目标以后，不能觉得做不到了，就转换跑道。所以这也是在上面那个我实际上不喜欢的行业里，依旧去面试和争取机会，因为那可以让我达到自己要的目标。

hxsh2000

曾经在中型公司工作的时候，保持着谨小慎微的工作方式和工作态度，成为非常好的doer，也得到了不少的机会也可以找到更好的机会往上走，也总结了很多如何更好的合作，要保持好中立经营好好人的人设。可真正到了那些最好的公司的行列之后，才会觉得，在业务部门里，往上走的路，不是单单靠着这么做能上去的，就比如好人卡，到底算好还是不好呢。而现在的视角来说，好人也并没办法在管理层生存的太好，至少没有机会往上走的。得足够强悍，足够的坚持，足够的resilient，才有可能达到目标。这个世界上，男人的标准，都是需要具备积极进取，有一定攻击性的，这才有可能赢得尊重或者被视为同一等级的竞争者。

还是因为最近工作压力比较大，所以需要remind自己一下，要坚持住。

hxsh2000

把Data Engineer Nanodegree的剩下两章Data Lakes with Spark，Data Pipelines with Airflow快速的看了一遍，大部分都是讲编程的，如果写代码实施这些。又得回去先补补Python等

在三十天免费到期前，取消了订阅。直接联系客服，直接要求，马上就可以直接取消。中间还offer了我一个75% off的继续学，可惜同时还在付着Data Analyst Nanodegree的钱，就没继续。这两门课都是得有Python和SQL的基础的，要不里面讲实践的时候，讲解写代码如何实现的demo，或者exercise的时候，几乎只能直接跳过。

yingying.li001

Pippa 发表于 2021-1-30 13:50
我个人还是倾向于认为数据分析可以作为个人技能发展的一个思路和方向。前提是你已经是某专业/行业的资深 ...

可以分享一下有价值的课程么

yzh1999

hxsh2000 发表于 2021-5-30 22:46
网络里的处理能力，更多的是协调各种资源一起完成任务，需要计算那种方案最佳。基本的处理能力：
CPU ~~ 20 ...

S/4 HANA需要怎么样的重构流程？

hxsh2000

yzh1999 发表于 2021-6-3 10:11
S/4 HANA需要怎么样的重构流程？

得看你是从什么系统转过来了，还有具体的业务和系统流程

yzh1999

hxsh2000 发表于 2021-6-3 19:57
得看你是从什么系统转过来了，还有具体的业务和系统流程

近些年应该都是SAP老ERP升上来的。所以你之前是指其它系统转成S4HANA需要重构流程？

hxsh2000

yzh1999 发表于 2021-6-3 20:12
近些年应该都是SAP老ERP升上来的。所以你之前是指其它系统转成S4HANA需要重构流程？ ...

ECC6 upgrade to HANA肯定是最多的一种，但不是唯一啊。我现在除了establish data and analytics development process，还需要管SAP S/4 HANA Reporting，由于不是从ECC6过来的，相当于greenfield implementation。

S/4 HANA说到底就是HANA database，相较于传统的数据库，执行效率上有了大大的优化。所以在后台数据表上做了很大的整合，使得传统的流程如果没有重构来配合新的数据表和数据库，HANA数据库是没办法有很大的效率的提升的。而这块在reporting stream上面体现的非常明显。由于数据表的整合，如果使用greenfield implementation，很多原有的报表都得重新开发和优化的。而有了数据库执行效率的提升，也使得实时化的分析数据，使用ML，DS等工具来分析数据成为可能。这块Leonardo模块还在慢慢完善中，没那么快能成事的。

当然，Fiori这些新的UI/UX的出现，也使得user interface可以脱离原有的SAP GUI在各种平台上使用。

我到现在参与过两个S/4 HANA的实施，第一个就是花了五个million而已，做了ECC6 to S/4HANA upgrade。light touch，重构的流程更多的是优化了业务流程，没有进行很多的系统的升级和优化，所以没有配套的改变，还是使用旧有数据表和运行方式等，最后系统性能并没有大的提高。

yzh1999

hxsh2000 发表于 2021-6-3 20:51
ECC6 upgrade to HANA肯定是最多的一种，但不是唯一啊。我现在除了establish data and analytics develop ...

所以大概听明白你说的流程重构是指从以前ECC的operational为主的abap report变成以cds为基础的围绕universal journal新开发的analytics report是吧？主要是技术流程的变化

hxsh2000

yzh1999 发表于 2021-6-3 21:13
所以大概听明白你说的流程重构是指从以前ECC的operational为主的abap report变成以cds为基础的围绕univer ...

我的理解是影响是各个层面的，都会影响到。

比如单单财务模块的ledger，多了很多新的概念。
可以看看这篇文章：https://blogs.sap.com/2018/04/04 ... %3A%200L%20is%20the,in%20a%20standard%20SAP%20system.&text=There%20are%20also%20parallel%20Ledgers,apply%20to%20the%20Extension%20Ledger.

沧海一粒米

hxsh2000 发表于 2021-1-30 09:40
这是我很喜欢在工作中和不同部门之间沟通使用的一张图，算是在整个Full development life cycle过程中需要 ...

沧海一粒米

hxsh2000

讲讲这几周压力大或者有意思的事情，就是摆平某些stakeholders，等待了好一段时间，看准时机，让他们先收敛。

在现在的团队里，同一级别的同事，都是在现职位上当了十年以上的经理了。对于这些stakeholders，在我建立steering committee的时候，会有需要把他们其中一些人拉进来，才能最大化的表示代表性。可其中有一些很久以前有负责过我现在职位的某些范围的，属于是技术性的人才，于是并没有办法管理整个流程或者协调好达到比较好的delivery结果，于是虽然转换了职位，但并没有升职。于是这类型的同事，由于懂得一些技术，又做了很长的时间了，于是每次的会议，都不停的提出各种建议和自己的见解，甚至对于我做的决定提出异议。这样久而久之，令我管理整个流程遇到比较多的麻烦，还增加了很多额外的工作和无形中增加了压力。观察了一段时间后，觉得应该是解决的时候了。

首先在近几周，营造出非常忙而且压力大的环境，实际上也是的，只是放大化了让大家都知道。其次不停的强调另外一个更重要的项目需要更多的精力，这块分析的任务并没办法花太多时间和精力。在营造好这些氛围后，在会议中，同事们依旧提出建议，特别是技术性的建议的时候，抛出自己的问题，直接进行挑战。先是确定这些同事在这个会议中，主要是担任什么职位和应该有什么贡献，先把他们只代表业务的给坐实了，那么既然他们只代表业务，技术方面的事情不是他们的范畴；其次问及他们每次都提的，到底算是什么，是技术的解决方案推荐，或者只是想法或者建议，确认了只是看法而已；再次对于这些建议，由于不在职位定义的范畴，能不能先确定准确或者有效，让后才在会中需要的时候提出。

思前想后，觉得这件事虽然可能得罪人，还是得做。要不会很影响我做自己范围内的觉得，不熟悉的人也能到处指指点点，不利于展开工作。于是找了个好的机会，就是现阶段有不少事情要忙，没时间甚至可以忽略他们建议的时候，直接先把这个事情一次性定性，给解决掉。

hxsh2000

Udacity的75% Off又来了，觉得五百多上一个这个课还是可以考虑的，一般来说三个月到半年会有一次75% Off的。

Flash Sale! Take 75% off Nanodegree programs sitewide. Use code SAVE75 at checkout.

hxsh2000

向大家请教一下，MS Azure应该是同AWS等量级别的，提供Cloud Data Analytics & Storage的解决方案的，请问一下有没有Microsoft显示整个解决方案构架的图(Microsoft Stack? or BI Stack?)，或者说明每个产品的主要用途。比如：

Data Storage
ETL
Data Warehouse
Data Lake
Visualisation
Automation

yzh1999

hxsh2000 发表于 2021-6-8 09:41
向大家请教一下，MS Azure应该是同AWS等量级别的，提供Cloud Data Analytics & Storage的解决方案的，请问 ...

没有大而全的architectural diagram，只有不同scenario的reference architecture
https://docs.microsoft.com/en-us ... platform-end-to-end
https://docs.microsoft.com/en-us ... real-time-analytics
https://docs.microsoft.com/en-us ... alytics-on-big-data

还有一个architecture library
https://docs.microsoft.com/en-us/azure/architecture/browse/

hxsh2000

yzh1999 发表于 2021-6-8 10:38
没有大而全的architectural diagram，只有不同scenario的reference architecture
https://docs.microsoft ...

非常感谢分享