系统的学习Data & Analytics

churq

hxsh2000 发表于 2021-2-6 22:30
八种Data Stories: Change Over Time / Hierarchy Drill Down / Zoom In & Out / Contrasting Values / Int ...

谢啦啊

churq

我觉得学习使用这些工具很简单 重点是怎么用这些工具解决问题。我们面试一般只有面试contractor的时候才会面试具体的专业知识。一般perm的面试不会大量的问专业知识 而是比较注重逻辑思维能力和快速学习的能力。建模 编程 和data visualisation只要有一个够强就行。

hxsh2000

开始看AWS Web Service方面以及Redshift这些服务了，和工作相关，算是很好的学习。Data Engineering Nanodegree的一个月免费期快用完了，还剩一周。争取在到时间前把视频看完

而Data Analyst Nanodegree已经提不起兴趣学了，这块还没打好Python的基础，学的时候几乎没啥效果。

其实每个公司使用Data Lake和Cloud Data Warehouse的方式千差万别，对于多系统协调共同完成所有的Reporting and Analytics的构建非常的重要。需要设计好和清晰化每个系统能拿到什么数据，如何简洁的使用平台和工具来实现。另外在技术方面的实现外，业务流程也需要调整到位，要不很容易出现原始数据出问题或质量低下，又没人弄明白，然后分析无从下手或者经常出错。

HISOKA

Undacity 的那个免费课月底结束吗

hxsh2000

HISOKA 发表于 2021-5-24 16:24
Undacity 的那个免费课月底结束吗

Udacity的免费课程是给三十天的免费时间，看你什么时候Enrol的，加三十天就是截止日期。过后要付全费，也就是一个月接近六百刀。在三十天快结束的时候，尽量提前几天取消，要不可能会被收费，即使能退回来，也要去申请什么的，比较费时费力。

hxsh2000

到了深水区，不熟悉的领域了。操作性的

Amazon Web Service:
Set up Redshift: https://docs.aws.amazon.com/reds ... /rs-gsg-prereq.html
Create S3 Cluster: https://docs.aws.amazon.com/Amaz ... rguide/Welcome.html
Create RDS Database: https://docs.aws.amazon.com/Amaz ... rGuide/Welcome.html

沧海一粒米

加油

hxsh2000

整个构架也越来越成型了。之前看这些图，也就看看不深刻不容易理解。现在有这个课程的一些解说，外加之前几节课的一些基础知识积累，渐渐理解了各个套件是做什么用的。

Data warehouse system architecture：https://docs.aws.amazon.com/reds ... m_architecture.html

AWS serverless data analytics pipeline reference architecture：https://aws.amazon.com/blogs/big ... rence-architecture/

fengliu1234

关注

hxsh2000

最近工作比较忙，而且压力比较大，学习的速度明显慢了好多。争取继续看完数据工程的视频吧。还有二十个小时

hxsh2000

继续看，也纠正了我以前理解的Data Warehouse和Data Lake的却别。
4. Data Lakes with Spark
5. Data Pipelines with Airflow

hxsh2000

网络里的处理能力，更多的是协调各种资源一起完成任务，需要计算那种方案最佳。基本的处理能力：
CPU ~~ 200 Memory
Memory ~~ 15 SSD (Storage)
SSD ~~ 20 Network
Latency Numbers Every Programmer Should Know：https://colin-scott.github.io/pe ... active_latency.html

怪不得每次和以前一个资深的SAP BI Consultant聊为什么一定需要S/4 HANA的时候，他不停的强调速度，从技术方面来讲的。而在我从业务方面来看，S/4 HANA不仅仅是处理速度的问题，而是需要辅以流程和重构才能发挥出S/4 HANA的能力，也要有足够的公司文化和需求，才能更好的利用起来。

技术的升级和更新是实实在在的，效果也是巨大的，在某些领域也是有非常大的需求的。这些都是和大数据和处理速度息息相关。可澳洲的公司，到底有多少需要这么实时的数据用以分析，有这种需求甚至公司文化来支持呢？至少之前做过那么多家公司，还几乎没有很大的用武之地。只是因为原有的版本快不再支持了，所以不得不升级。

hxsh2000

整个五月每天平均学习时间才0.8个小时

hxsh2000

记得在澳洲的大学毕业后，得找个比较有挑战性的目标，人生才比较有意思。我既不喜欢维持在低级别里混一生，个性也害怕没有挑战没有目标而胡混。而普通人不靠运气，又比较有挑战性的事情，我觉得是在澳洲的大公司了当高管。所以当时就觉得，有生之年，一定要做到General Manager或者部门的Head。即使是要转做生意或者从事其他的事情，都要达到这个目标以后，不能觉得做不到了，就转换跑道。所以这也是在上面那个我实际上不喜欢的行业里，依旧去面试和争取机会，因为那可以让我达到自己要的目标。

hxsh2000

曾经在中型公司工作的时候，保持着谨小慎微的工作方式和工作态度，成为非常好的doer，也得到了不少的机会也可以找到更好的机会往上走，也总结了很多如何更好的合作，要保持好中立经营好好人的人设。可真正到了那些最好的公司的行列之后，才会觉得，在业务部门里，往上走的路，不是单单靠着这么做能上去的，就比如好人卡，到底算好还是不好呢。而现在的视角来说，好人也并没办法在管理层生存的太好，至少没有机会往上走的。得足够强悍，足够的坚持，足够的resilient，才有可能达到目标。这个世界上，男人的标准，都是需要具备积极进取，有一定攻击性的，这才有可能赢得尊重或者被视为同一等级的竞争者。

还是因为最近工作压力比较大，所以需要remind自己一下，要坚持住。

hxsh2000

把Data Engineer Nanodegree的剩下两章Data Lakes with Spark，Data Pipelines with Airflow快速的看了一遍，大部分都是讲编程的，如果写代码实施这些。又得回去先补补Python等

在三十天免费到期前，取消了订阅。直接联系客服，直接要求，马上就可以直接取消。中间还offer了我一个75% off的继续学，可惜同时还在付着Data Analyst Nanodegree的钱，就没继续。这两门课都是得有Python和SQL的基础的，要不里面讲实践的时候，讲解写代码如何实现的demo，或者exercise的时候，几乎只能直接跳过。