系统的学习Data & Analytics

yzh1999

htche1 发表于 2021-9-21 09:28
楼主招不招我 我只会用matlab， R， C

我不是楼主

htche1

yzh1999 发表于 2021-9-21 10:16
我不是楼主

老板招不招我

yzh1999

htche1 发表于 2021-9-21 10:16
老板招不招我

我不是老板。您误会了。。。

hxsh2000

Enterprise Data and Analytics Solution在建立的整个过程中，一方面需要Full Governance/Control的一个环境来对公司层级的报表和分析进行标准化，这个标准化涉及到了data assets + visualisation + KPIs甚至分析模型。另一方面，在实施的过程中，由于这个过程需要很长的时间外加非常多的预算（在多应用并且各个系统相互集成的环境中，往往需要三到五年，并且几十个m的预算来实施），于是从过往multiple silo databases的模式到新的战略实现的过渡中，需要在一定的程度上满足和支持原本各个部门里的数据开发需求。

于是在这个时期，既需要让各部门数据开发的过程慢慢的习惯新的战略和遵循一定的data governance，又需要鼓励终端用户使用新系统并且自我的进行开发，对于好的开发结果，加以利用和吸收。于是在Self-Service & Managed BI Development这种特定的开发过程中，要做出完美的data and analytics governance model有着太多的挑战，只能根据实际情况和要求，做出一定的妥协和调整。

要完成这个过程，需要很多的技能，不仅仅有data analyst, data engineer，团队中还需要有其他的相关职位，来协调和规范各个部门数据开发和利用，并且还需要有熟悉data governance & MDM流程和相应工具。

hxsh2000

"The greatest happiness in life is the conviction that we are loved; loved for ourselves, or rather, loved in spite of ourselves." by Victor Hugo -- “人生至福，就是确信有人爱你，有人为你的现状而爱你，说的更确切些，有人不问你如何就爱你。” -- 雨果

在工作中，幸运的是可以找到一个环境和一个上司，让你可以以你的自我发挥，扮演自己，然后努力的工作。不需要刻意的扮演适合的人设或者其他风格，不需要刻意的去适应某个环境或者上司。因为你的风格，你现有的能力和优点，你的努力，得到欣赏和鼓励。

Although work is work, happy at work is essential!  If you cannot get it now, go to find it.

hxsh2000

年轻的时候可以为了更好的机会，更好的职位，更高的薪水，激励自己不停的提高，不停的改变自我并且更加适应工作环境。当时还年轻，积极向上；还有热情和激情，有目标并且想努力；接触到各种新知识，例如how to climb corporate ladder，manage your manager and manage up，how to win friends and influence people，how to read body languages，personality types等等

随着工作年限的不断增加，到了一定的阶段，特别是处于平台期了之后，热情和激情和积极向上的状态，在长时间平台期的消磨中，总会慢慢的回归到正常的日常生活和工作中的，而消逝的。另外随着年岁的增加，经验的积累，越来越不愿意，甚至不情愿逆着性子的处在工作环境中了，更加喜欢找到适应自己的，舒服一点的环境中，继续努力。

unlovely

牛

hxsh2000

打算看完Udemy上面的课程DP-203 Data Engineering on Microsoft Azure，然后努力的去考个微软Azure云计算的认证：Microsoft Certified: Azure Data Engineer Associate （Ref: https://docs.microsoft.com/en-us ... certification-exams）靠着这个机会好好学习学习

先定个小目标吧，十二月底之前完成。

hxsh2000

"In the corporate world, restructures and consequential redundancies are often required, but come with an emotional human cost" https://www.seek.com.au/employer ... -can-smooth-process

"6 STEPS TO ENGAGING YOUR WORKFORCE WHILE MANAGING REDUNDANCIES" https://www.thehrdirector.com/fe ... aging-redundancies/

cathyqk

hxsh2000 发表于 2021-9-24 17:16
打算看完Udemy上面的课程DP-203 Data Engineering on Microsoft Azure，然后努力的去考个微软Azure云计算的 ...

考这些认证都是楼主自费？

hxsh2000

cathyqk 发表于 2021-9-24 22:17
考这些认证都是楼主自费？

是的，之前数据方面的学习和考证自费。我一般报的费用是chartered accountant或者finance systems相关的培训和学习费用。

现在刚到数据部门，会去报这些数据相关的培训和认证费用了。可注册会计的费用不好解决了。

hxsh2000

年轻的时候，不睡懒觉是好习惯。现在呢，叫睡不着吧:)不用闹钟，六点半到七点半自然醒

hwll

学这个需不需要编程？

hxsh2000

hwll 发表于 2021-9-25 09:19
学这个需不需要编程？

Data Analyst至少需要SQL，有一定的编程能力比如Python，肯定是advantage。Data Engineer或者Data Scientist编程是必要的了。Data Visualisation如果你是专门做UI设计的，也不是必须，会肯定有优势

Data & Analytics大方面，项目经理不需要，Data Governance也不是必须。Master Data Management方面的，编程也不是必须

BobbieQ

hxsh2000

有个很奇怪的现象，在很多的时候，总会听到说“Data Scientist是Data Analyst的升级，或者职业更进一步“。感觉其实技能上来说并不是涵盖，或者一个比另一个更高级的关系。

从薪资来说，Data Scientist应该是更高的，因为算法和设计模型的专业知识，并不容易获得的。

hxsh2000

打鸡血灌鸡汤了：
一直都很喜欢这段 IRONMAN - Anything is Possible (https://www.youtube.com/watch?v=qjxxYoL7nSU)
音乐 Hall of Fame (https://www.youtube.com/watch?v=mk48xRzuNvA)

"
To accomplish something extraordinary, one must have an extraordinary dream
a goal so high, a journey so demanding that its achievement to most seems impossible
......
For 35 years IRONMAN has defined a sport growing from a single race into a global movement and a new generation of athletes
......
In 25 countries with over 200 events IRONMAN inspires us to re-imagine our limits to set our sights higher to go farther than we ever have before
......
IRONMAN is a statement of excellence, passion, commitment
It is a test of physical toughness and mental strength
IRONMAN is about persevering, enduring and being a part of something larger
It shows the heights that can be achieved when we push beyond our boundaries
and go the distance to earn the title IRONMAN
"

azureschain

SQL也好，PYTHON也好,关系型数据库或者nosql, 都不过就是个分析的工具。好的data analyst要能准确理解用户到底想看什么，不能指望你去的公司都非常标准化，也不指望你的客户群素质非常高。

hxsh2000

Azure整个数据解决方案，从data security and compliance的角度来说，需要Synapse, Power BI整个方案的统一。其中的Purview会扮演着很重要的角色，近期开始实施Azure Purview，熟悉熟悉

Enable unified data governance with Azure Purview | Azure Friday：
https://www.youtube.com/watch?v=W2bsj3ULw0Y

azureschain

hxsh2000 发表于 2021-9-30 21:56
Azure整个数据解决方案，从data security and compliance的角度来说，需要Synapse, Power BI整个方案的统一 ...

synapse不是必需的。
如果不要报表，POWERBI也不是必需的，到data bricks就结了，下面可能data scientist直接调用拉倒。或者func app,web apps调用显示。

hxsh2000

azureschain 发表于 2021-10-2 16:47
synapse不是必需的。
如果不要报表，POWERBI也不是必需的，到data bricks就结了，下面可能data scientis ...

我们是确定用了Azure Synapse和Power BI平台后，需要data governance and lineage的功能，用的Purview来实现。对于我来说，能用已经有的，也已经集成了的标准功能来实施，是最好的。

感谢分享，请问data bricks来实施data governance，是如何实现的，需不需要很多额外的配置和需要多大的额外精力来维护？

hxsh2000

连续维持了四十一天，坚持每天都看一些，总共64个小时。休息个一两天，恢复恢复不停继续的压力，然后继续…………

都说学一个学科或者门类，需要累计一万个小时才能成为专家。现在data & analytics对我来说，还是太多的东西没有涉及到，大部分也还在继续深入了解中。需要继续多多专研，中年转行不易啊

hxsh2000

曾经在第一份工作中，和公司里的Senior ABAP & BI Consultant一起做过SAP BI7.0的升级。当时老板和顾问都想把我培训成这一块的技术骨干，提供培训并且顾问还每周两个小时的指导和答疑，培训后能够给他打下手。结果做了不到两个月，实在不习惯坐在电脑后面敲代码和维护ETL，一遇到难点的问题就直接问，最后还是不了了之，继续做我的Business Analyst，整天和业务和财务部门交流，开会和聊天。对了，当年还流行一个Analyst Programmer的职位，就是既要会业务分析，又是开发者，很受欢迎。现在都几乎没这个职位了，或者改为其他名字了

所以对于我来说，理解业务核心和知道业务部门要什么，重视什么，相对来说更为简单些，特别是快速的理解大老板们想要的东西并且能够连接到做这个东西的意义，还有哪些技术能够实现和优缺点。但在技术上面，一直心有余而力不足，对于hand on就是了解了，知道怎么回事和优缺点就可以了，所以一直都属于技术上有一定的短板，编程和配置方面的话，看的书一般看到四分之一的简介和简单点的，就没能继续了。

fly-star

好贴

hxsh2000

hxsh2000 发表于 2021-9-20 20:49
澳洲的职场，在工作中结交上司同事，工作后聊天networking，很多时候都需要有很多可以聊的，增进相互的了解 ...

那么有了这么多话题，知道聊什么了以后，需要如何做networking呢？

在公司的整个体系中，networking总是有着几个层面和方式，就如《Ready to be a thought leader》中讲到的，影响力也不仅仅需要从职位上体现，其实在工作中，很多的机会能够联系，network到各个层面的人的

1. 最好的方式还是在一起做项目或者工作中建立起来的共同认可，共同合作
2. 在公司中，做了一段时间后，慢慢的成为一个go to person，在某方面打造出品牌优势来，让大家一提到你，就会说到或者讲到你，比如技术类
3. 在技术类之外，还会有着各式各样的小圈子，或者community，这些往往都会提供各种兴趣爱好的联系，各位大佬们也常常会参加其中的某一类，因为大家都需要networking
4. 在平时工作或者闲聊中，要体现和表达出自己的兴趣爱好，以此来让身边的同事，上级和下属记住这些，那么拥有共同爱好或者兴趣的这类人，会联系在一起，并且更容易提供这些人际网络的外延，比如哪位高层，哪位大老板，都喜欢些什么。这就让接下来的networking产生出足够的往前推进的机会。所以参加运动，读书，旅游，美食等等的community，还是很有益的
5. 公司中对于利益和一些斗争，最核心的，还是支持者众或者高层背书。支持者众需要有与大家一起social的能力，而高层背书，则需要在公司架构的允许范围内，能够找到更多更好的和高层的沟通渠道，并且有机会展现自己的能力

hxsh2000

看了NRL的总决赛，感觉到的就是，在真正的竞争中的话，都是赤裸裸的，靠多方面的实力的。除非是有策略性的，要不退缩和妥协，甚至自我安慰的依靠那些小动作或小聪明，都是无济于事的。在实力不足够时（支持者众或者高层背书，亦或掌握核心技术），对方是可以依靠力量或者实力，在规则允许下或者创造规则硬吃的。所以在某些时候，选择适合的和有利的battleground，是非常重要的

2liu

hxsh2000 发表于 2021-10-3 21:21
看了NRL的总决赛，感觉到的就是，在真正的竞争中的话，都是赤裸裸的，靠多方面的实力的。除非是有策略性的 ...

能否加一下你的微信群？

我短你我的微信号。

hxsh2000

2liu 发表于 2021-10-6 09:16
能否加一下你的微信群？

我短你我的微信号。

你好啊，我没有建微信群的

hxsh2000

Udemy出了一些编程类，数据类的免费课程。对于不想花钱，又想了解了解的朋友，可以考虑。这些免费的课程不算Udemy里面评分高和受欢迎的。

50+ $0 Udemy Courses: MS Excel Macros, Vue JS, Firebase, Node JS, JavaScript, React native, Adobe Photoshop, Entrepreneurship（https://www.ozbargain.com.au/node/655438）

https://www.udemy.com/

hxsh2000

关于上次说到的Master Data Management的工具或者平台，Profisee。曾经做了master data management for Microsoft SQL，然后被微软给收购了，但收购只限于软件。现在这个公司推出了基于云的Master Data Management，很好的作为Azure Data Synapse和Power BI的前端master data consolidation的工具。

Company Description (Ref: https://www.ithistory.org/db/companies/profisee-group-inc)
Profisee is a master data management software company focused on delivering enterprise-grade MDM capabilities through its Master Data Maestro software suite. Formed from the management team of Stratature, the MDM software provider acquired by Microsoft in 2007, Profisee has a worldwide reputation for master data management and competence with Microsoft Master Data Services.