系统的学习Data & Analytics

hxsh2000

这个对很多人来说，都发生在自己的身上过，很有趣的调整情绪和情绪自我意识的一个练习。
Learning by Doing -- How Would You Treat a Friend?: The Why and the How

"
TIME REQUIRED
15 minutes. While it may be hard to find time to do this practice every time you are struggling with a difficult situation at work, an initial goal could be to try it once a month.

HOW TO DO IT
Work can be stressful, overwhelming, and leave us feeling insecure in our abilities at times. When these and other challenges from work arise, it is important to practice self-compassion. Take out a sheet of paper or open a blank document on your computer and go through the following steps.

First, think about times when a close friend feels really bad about him or herself or is really struggling in some way. How do you respond to your friend in these situations (if you’re at your best)? Please write down what you typically do and say, and note the tone in which you talk to your friend.
Now think about times when you feel inadequate or are struggling at work. How do you typically respond to yourself in these situations? Please write down what you typically do and say, and note the tone in which you talk to yourself.
Did you notice a difference? If so, ask yourself why. What factors or fears come into play that lead you to treat yourself and others so differently?
Write down how you think things might change if you responded to yourself when you’re suffering in the same way you typically respond to a close friend.
Next time you are facing a challenge at work, try treating yourself like a good friend and see what happens.
WHY YOU SHOULD TRY IT
Research suggests that people are usually harder on themselves than they are on others. Rather than motivating them to succeed, this often makes a mistake or stressful situation even more stressful—to the point that they’ll simply avoid new or challenging experiences for fear of failing and eliciting a new wave of self-criticism. When we are struggling at work, practicing self-compassion can relieve the pressure we feel and build strength to tackle challenges that arise.

This exercise asks you to notice the differences between the way you typically treat the people you care about and the way you typically treat yourself. It also asks you to consider why there may be differences between the two, and to contemplate what would happen to your well-being and performance at work if you treated yourself as compassionately as you treat others. Research suggests that treating yourself more compassionately can benefit your physical and mental health. Using self-compassion for workplace challenges remedies stress while preventing burnout.

WHY IT WORKS
It is often easy to be hard on ourselves at work. Yet research shows that a lack of self-compassion for workplace challenges leads to chronic stress and burnout. To relieve stress and counter burnout, it is important to treat ourselves as we would a friend when we are struggling at work.

Further research suggests that the way people treat themselves is shaped in part by how others have treated them, but it can also be influenced by how they treat others. Because people often find it more natural to be compassionate toward others than to be compassionate toward themselves in a challenging situation, one way to increase self-compassion is to imagine what one would say to a friend in a similar position, then direct those same sentiments toward oneself.

Reflecting on how kind you are capable of being toward others can remind you that you are also capable of being kind toward yourself—and that you deserve compassion, too. By treating yourself with this kind of sympathy and understanding—rather than beating yourself up—you help yourself bounce back from workplace challenges with greater resilience.
"

hxsh2000

羡慕年轻人啊，现在学东西，经常看过去，然后就忘了
这个忘却的速度，杠杠的……

mendietaczfls

hxsh2000 发表于 2021-9-4 18:04
"说了这么多的工具，那搭建一个公司需要的数据栈，用哪些产品比较合适，收费的还是open source，如果使用 ...

抽个时间，回答一下楼主的问题 还是非常钦佩楼主能自发并坚持更新这个帖子。最近我也开始在medium上写tech blogs，对数据工程/平台这块有兴趣的朋友可以互相切磋一起进步。https://medium.com/@MenData


我先讲讲monitroing这块吧，之后再不定期更新别的内容。抽象一点讲，monitoring的主要作用有
1）了解data pipeline/platform各服务是否运行（up or down）
2）在运行的基础上数据处理速度是否达到了预计表现
3）在和data quality工具集成的基础上可以了解是否有大量的摄入数据出错
4）基于monitoring的dashboard起到了给data stakeholder展示，提醒，和信息更新的作用

其中
第1）2）3）点就是能让开发者第一时间知道哪里出错，出了啥错，好的monitoring和tracing可以让开发者更快的定位到具体问题。
第4）点能让Data team一定程度地展示成果，同时也是Data Team像product team方向发展的一个必要条件，如果data serverice对其它的stakeholder像是黑箱一样，每天data team都会有数不清的trivia questions，比如某个data service是不是down了之类的问题，dashboard就能解答。

实现方法上，Monitoring主要分metrics based和log based。好多vendor都可以提供complete solution，比如Splunk，DataDog等等。

我自己用过progmetheus + grafana做metrics based solution, Elastic Stack做log based solution。Prometheus基本是metrics领域未来的大势所趋了，the de facto future standard。Elastic Stack的话，它的整个ecosystem基本涵盖log相关的所有需求。具体怎么设计因为我权限所限不能上设计图，表达起来有点困难。

我说说metrics based和log based方案的特点吧。metrics能提供实时的status，优点是及时性，适合表达全局信息，dashboard基本靠metrics，缺点是不一定准确。log based的优点是齐全和准确，应用场景主要是查错，发现edge case和很细节的data quality issue（在developer有好的logging习惯的基础上）。log based solution牵扯到log life cycle的问题，archive的周期决定了oberservability追溯过去的上线。可见metrics based和log based两者是互补关系。

欢迎纠正和讨论。未来有机会补一下data quality和data lineage的相关内容把。

mendietaczfls

hxsh2000 发表于 2021-9-4 19:03
在数据分析领域，Centralised & Standardisation & Governance还是Data & Analytics & Visualisation领域的 ...

这个观点我挺赞同，我结合自己的经历，感觉企业里推行centralised data platform主要有这么几个难点：

第一种一般出现在科技栈比较旧的大公司，各部门长期自理门户，用了各种vendor solution，当data platform team推出统一平台后，因为惰性或者是舒适区，onboard某些team的阻力相当大。

第二种是business value和technology value的misalignment。俗称PoC graveyard effect。比如说在一个领导思维很跳跃的团队里，可能因为领导偶尔听到的podcast，想要onboard一个听起来很牛的软件。最后因为use case不够有说服力，耽误了开发者的时间和一腔热情。

第三种就是data analysts不愿意学习软件开发体系下已经考证过的best practice，只愿意用老办法（比如坚持只做Excel）。简单如git这么一个功能，当我和老婆说起来的时候，她就会说，她审合同的时候要是能用这个来管理合同版本就好了。个人认为让data analytics team能立得住还是要让他们能用软件工程的methodology来工作，不管这个team是真正的一个team，还是散落在各业务部门的BA们的总称。

hxsh2000

mendietaczfls 发表于 2021-9-16 21:55
抽个时间，回答一下楼主的问题 还是非常钦佩楼主能自发并坚持更新这个帖子。最近我也开始在medium上 ...

非常感谢这么好的分享！也期待data quality, data lineage的部分。
还是那句话，不着急，慢慢来哈

hxsh2000

现在数据分析行业，很像九十年代末的开发人员，两千年代的SAP，都是存在着大量的机会，并且有很多很多的其他行业的转行或者年轻毕业生进入这个领域，非常的热闹，入行也是非常容易的。因为市场需求很大，由于紧缺，很多时候就会给予新入行的人们更多更好的机会，工资也能给的比较高。

九十年代的时候，很多不同的专业的，工科或者理科的，只要学了电脑开发的相关课程，在大学期间就能找到不错的part-time工作，一毕业工资也非常好，社会上也有各种各样的培训班，大量的新入行者。而后2000年初中期，SAP也变得如日中天，很多毕业生在毕业后暂时找不到工作，报个培训班学SAP的相关知识和培训，三个月内毕业也能找到很好的工作，起薪也非常的高。然而发展到现在，开发的程序员，如果不是理工科背景，要进入这个领域的话，已经有了不小的技术门槛了，毕竟要求高了。而SAP，除了新移民或者外包的顾问，在项目里，很多的都是有了很多年工作经验的，入门不易，新入行的机会也会小很多，比较少看到年轻的入行者了。

现在的数据分析也在这种趋势下，很多都是自己学习或者参加几个月的培训，也能进入到这个行业里，并且在有了经验后，工资也涨的非常快。而且数据分析这块，好处还是技术性的要求还不高，所以即使文科背景的也有其优势的。很喜欢这种欣欣向荣，更多的年轻人进入这个领域，非常的有朝气的感觉。而这种朝气和欣欣向荣，也促进了互相分享，相互学习，共同进步的环境。

Bessy

数据分析师，数据科学家的薪水比开发人员的薪水还是要低的，一线公司的软件工程师是可以达到足迹平均。入行门槛低倒是真的。

hxsh2000

Bessy 发表于 2021-9-17 16:55
数据分析师，数据科学家的薪水比开发人员的薪水还是要低的，一线公司的软件工程师是可以达到足迹平均。入行 ...

是的，开发人员去做全栈，DevOps，SRE那些工资更高并且更具挑战性的工作了。这一方面的工作，入门的技术门槛很高的。所以除了计算机，工程和偏技术的IT人员，讨论这块的比例不大。

数据这块，是几乎谁都可以入门，谁都可以转行，技术门槛比较低，机会多多。和九十年代末的入门开发人员的要求很像，也是稍微会一点或者参加培训，就能入职了。

Bessy

数据分析需要的技能比软件工程师可能更繁杂。

数据库：
SQL是标配了。SQL是一个图灵完备的编程语言。复杂程度不逊于任何编程语言。
数据仓库要了解， 如star schema

分析：
R或Python 至少要会一个。

可视化：
Tableau, PowerBI, Qlik做好看的图像时都需要写一些小程序

统计学：统计是必须要会的

Excel， PPT都要达到半专业水平

presentation 和 写作技能也需要很强， 因为报告是给senior manger看的。

最后还要学会Git - 一个只对IT人员友好的软件。

软件工程师只要一招鲜就可以吃几十年（如 Java，python, Javascript）。当然要了解的深一些，但10几年用一种语言，想不精通也难。如果不会还可以抄袭stackoverflow. 可是数据分析只能靠自己找insight。

这两个在技能上有点像 handyman 和 专业工种的区别

hxsh2000

Bessy 发表于 2021-9-17 18:30
数据分析需要的技能比软件工程师可能更繁杂。

数据库：

你这一开始就整的一个data and analytics consultant，日薪一千，来了就上手干活，并且啥啥都会的架势。这个是这个领域里的senior或者lead的职位了。

对于入门的来说，数据分析能熟悉熟悉sql，中级的sql足够并且一两个月的学习就能达到的，用用比较高级点的excel，python能入个门，就已经足够了。这些技能，有目的性的或者安排好学习计划，自学或者培训个三到六个月，再花三个月好好把简历，面试练习好，在现在这个市场，拿到职位的可能性很大的。这个足够对入门的人来说非常的友好了。

yzh1999

Bessy 发表于 2021-9-17 18:30
数据分析需要的技能比软件工程师可能更繁杂。

数据库：

统计学

hxsh2000

我觉得在讨论话题，或者技术话题时，要避免over engineering或者over complicated