系统的学习Data & Analytics

鼹鼠和蝉

这篇帖子应该加精华。楼主是勤奋的人，合我心意。:)

hxsh2000

慢慢在重新看这本书《The Executive and Senior Manager's Guide: Personal Brand and CV》，申请工作期间总拿出来重温一下，调整状态和情绪

hxsh2000

圣诞前，赶着继续面试要招的三个新职位，选了六个应聘申请人和两个中介推过来的申请人下周面试。
在现在的市场，把每个permanent职位的预算争取到了160K plus super，如果是适合的话。可另一方面，要求和期望值也相应的提高了很多。
有三年以上的Azure Synapse相关经验的申请者，少之又少，只占了全部申请者的不到20%。
所以对于有AWS/Azure Synapse/AWS Redshift相关经验的，都会非常有竞争力的，因为竞争对手大部分是用了很多年MS SQL Server，SSIS/SSRS，SAS等，并没有很好的机会接触到新平台和拥有新的战略和架构的意识的。

在shortlist的过程中，Talent Recruiter还教了一招看简历的方法，就是在申请截止后，把一个职位里的所有申请人全部勾选，打开简历，一个一个快速的翻看，而不需要打开一个看完，在回到页面继续打开另一个，效率是大大的提升。

hxsh2000

说说在这边管理的机会吧，有些环境是适合多文化背景的，而有些环境就不是那么友好了。对于我自己来说，管理的机会意思是我前面说的进入管理核心层，有影响和决策能力的职位，而非管理层的工具管理人。

首先，在经历过的那么多的大公司中，如果上层几乎全是我们熟悉的本地背景的又特别有经验的，那么即使往上走，也往往沦为纯粹的管理工具人，决策和好处只能是人家给的，很多时候这种关系是属于一种从属关系，而非伴生关系。这可能是近几百年来积累出来的优势和习惯吧。

而随着国际化在前面几十年的大发展，使得很多多文化背景的管理层也出现在了大公司里面，而为了有效的对抗原本的公司里的背景优势，会自然而然地组成另一个多元化的管理核心，渐渐的有意识的把原本的排除在外。这一类型的领导层，由于经验和经历并没有那么多年的积累，以至于还未形成非常庞大的已有可利用的关系网和核心圈，所以很多时候需要招揽有实力的相似背景的人，于是这也无形中给了很好的进入其中并且打造自己核心圈的机会。而这种管理的机会，所形成的也不再仅仅是从属关系，是一种相似观点和价值的伴生关系。

很多人会问，凭什么领导本地人呢，又为什么服气的让你领导呢？其实在权力架构里，特别是在第二种公司氛围中，价值体系已经发生了很大的转变了的，由于在所在位置上，加上继承更上层所得来的权力和影响力，其实很多事情都是顺理成章的，不服气又能怎么样呢？而且我也越来越认为，每种管理文化以及管理理念，和世界上绝大多数事情一样，有其优点，也就必有其伴生的不足。要多相信我们自己的价值观以及长久以来的培养的优势，因为只有自己熟悉的领域和有优势的方式，展现出来才能得到更好的结果。找到适合自己发挥优势的平台，也是非常的重要的，甚至是最重要的。

hxsh2000

在几乎每次面试前都会看一下的《5 BEST Interview Tips - The Ultimate Formula to Interview Success》：https://www.youtube.com/watch?v=yL19XilAtO0

* When you go to an interview, it's not about saying the right things, but how you say the right things.
1. Ask good questions
2. Be flexible
3. Use / reflect the same words / languages the JD and interviewers include
4. Complement them
5. Let them know you want the job

这一段是我招人过程中也非常重视和看重的《6 Success Traits Hiring Managers MUST Look for...》：https://www.youtube.com/watch?v=HePlVU2x1P8

1. Body language
2. Enthusiasm, excitement
3. Passion, energy
4. Team player
5. Humanity
6. Culture fit

hxsh2000

我的上帝 发表于 2021-12-16 01:56
楼主，想请教一个问题，有单独analytics团队的公司(技术外包或者自己开发)，一般营收需要达到什么规模呢。5 ...

不同的行业对于data and analytics的需求，不同的公司和上层对于数据的要求，都会有所不同。

比如如今非常火热的e-commerce，由于新的销售模式更多的依靠分析点击，销售转化，客户分类等，而非依靠销售和市场经理等的经验做决定，那么对于analytics的要求会很高，150m以上的销售额，可能就会有一个专门的团队做数据分析了。

而传统的企业，习惯了silo的方式做数据和分析，也就是各个部门中有SMEs兼做数据和分析的，这种要建成一个专门的团队做数据分析，要求就会非常高，很多1b以上的企业，都还没有开始这个历程。而这些企业，会在接下来若干年慢慢的转变方式来适应这个新趋势的，因为年轻的新领导们这些年所接触的管理理念都是需要运用数据和分析来支持更好的decision making模式，并且来证明自己的价值的。

hxsh2000

不清楚学个什么的时候，就考个认证吧。周三考个DP-900 Microsoft Azure Data Fundamentals

这个认证原价99美刀，如果参加微软免费的培训Microsoft Azure Virtual Training Day: Data Fundamentals (https://info.microsoft.com/AU-Az ... logDisplayPage.html
)，可以免费考这个认证。

hxsh2000

顶级的咨询公司的参与，能够做出足够好的，特别是非常有说服力的business case，特别是当做出来的方案，加入了很多主观的好处和有益的作用时，能够更好的让董事会买账。

之后，这种business case做出来以后，执行者往往变更成四大咨询部门或者两大科技提供商，而这种不同的模式，经常性的使得纸面上非常好的而且漂亮的战略，实施后要么没办法达到预期，甚至没有足够的收益。

于是这种和顶级咨询公司的合作就只能继续，并且会更加依赖这些公司，以更多的参与进入到公司的决策层。而恰恰是这种战略外包的趋势，让这些顶级咨询公司的中上层经理，能够直接跳到非常好的公司里面，直接进入核心层。

正在和他们的MDs们讨论战略，但只是参与其中而已，因为这些MDs们的构想，是在更大的范畴内的，以提高公司的影响力和盈利能力为导向的，数据分析的战略和结构。这是第一轮，各位大佬们来进行高级别的会谈的。

就如之前一直所说，在这些大公司中，重要的是你能够掌握什么类型的资源，并且能够如何利用好这些资源，特别是上层需要时，你能够提供给他们这些原本没有的资源。之前关注点，都在实施层面的。这次认识了不少人，也算是很好的networking了。特别是近几年，看到公司的高层，都是有稳定的而且关系很好的这三个顶级咨询的关系，并且也经常性的找他们咨询项目和战略，这些方面是networking是非常重要的。

hxsh2000

一些事情，刚开始接触时都是新鲜度非常高，但往往经验不足，又总是小心翼翼。随着相关经验的提升和积累，会渐渐的以平常心来对待，那么就可以慢慢的从一个比较平常的心态来进行交流，而这种形式的合作才能更好的展现自己，寻找更好的机会和networking

多年前，因为矿价下跌，公司董事会决定两年减少$5B的working capital，而我们的子公司分到了$300M的份额。当时听到可以参与到这个项目中，非常开心，特别是听到咨询公司是麦肯锡的时候。当时的想法和他们的交流，就是小心翼翼的，让做什么就做什么，觉得他们是大牛，也总想着能够多学到点什么。也算是开始和这类咨询公司的接触的开始吧。

而到了前几年，和公司里面一个高盛过来的战略部门的大头一起做项目，咨询公司也是顶级咨询公司之一，感觉却也所不同了。可能由于经历也积累的更多，又或者是在集团公司层面，高盛过来的高层也非常的强，于是经常性的说，即使是这一类咨询公司，也要非常注意和他们做项目的方式，要不停的确定咨询项目的scope，让他们做的事情更加集中和有相关性，而非需要什么给什么。就这样一起合作了几个月，让我感觉原来和这些公司合作，其实也就是和之前一起合作的technology / delivery vendor一样的，就是要能够对这些公司进行有效的沟通和管理。也渐渐的能够以更好的心态来交流和做事情了

hxsh2000

其实合同工的高工资，不仅仅存在于IT领域的，也不一定需要用到现有的前沿的技术。只要相关领域和行业，而且外加经验，都足够好，那么很多的其他方面都可以忽略。

一位以前关系很好的在矿业做业务分析方向的BA Manager的同事，我现在的reference也还是找他给我做的，刚刚找到一份做financial modelling的半年合同，在一个国际化的大矿业公司，用excel帮公司做新的金融模型分析，拿到$1,400一天。也是通过networking，然后内部介绍以顾问的身份进去做的。

GEWEIYA

dirkzzz

架构是水到渠成的，业务分析是需要天赋的

hxsh2000

dirkzzz 发表于 2021-12-22 13:42
架构是水到渠成的，业务分析是需要天赋的

其实业务也是自然而然的，只要记得技术是为了业务服务的，做东西之前多考虑考虑为什么这么做，这么做能为公司带来什么益处，特别是多读读公司，特别是董事会或者每个大部门每年，甚至五年内，要完成的各个pillars要实施的目标，再对号入座能够把业务的好处连结上去帮忙实施，就是非常好的业务分析了，也一定会是高层需要的。

在所有的项目里，没有达到顶端前，没什么是需要天赋的，很多人觉得是的时候，其实往往连入门都没有。在绝大多数时候，都是靠着努力或者勤奋就能够达到。而那些特别少数的呢，除非是顶级投行，咨询的那些高管，或者很多的大公司的董事会成员或者CXO等。而在达到各种GMs或者VPs之前，没有什么是通过勤奋和努力而达不到的。

在大多数时候，可能由于经验或者经历不够，理解不了业务。可也是可以通过和其他更有经验的人的交流和学习，进行提高和渐渐学到的。这个就是为什么，即使很多大公司的CXO那个级别，也都是有她们自己的Mentors和学习讨论的更上层和更有经验的对象。原本在一个$8B的集团公司里，我的上司deputy CFO，她找的mentor就是CEO还有一个四大的partner，很多时候也是需要去想其他人请教的。

另外，我是很不喜欢很多人，在不到一定程度的时候，就总在强调需要靠天赋或者把事情说的特别高大上，其实没那么多的东西在这个层次的时候有这些要求，只要努力和勤奋，也没什么会达不到。对我来说，比如跑马拉松，男子要跑到三个小时甚至两个半小时内，才需要靠身体素质和天赋等，其他的只要通过很多的长期艰苦的训练都能达到；而其他的各种，除非能做到顶级，要么也不需要那些。

hxsh2000

对我来说，相互分享并且互相学习，促进和提高，能够非常大的补足各自在不同领域的不足。而要有更好的全方位的理解和知识，也是通过和大量不同领域的大家相互探讨，慢慢一起分享和提高各个方面的，或者在需要的时候，能够很好的给与互相的帮助。而不是一上来就说的特别高大上，却细细看来，却完全没有什么内容或者对大家有益的。

这个也是我记录和分享这个帖子的原因，在这个领域里，抛砖引玉，大家一起学习，一起提高。只有基数大，入门的人多，才能在各个方面都慢慢的积累并且往上流动，最终达到影响上层的力量和团体。而非少数的一些资深人员，自己弄个小圈子，互相探讨，然后一出来又弄的很高大上却并不分享具体内容。这样来说，整个群体会渐渐的势微，并且慢慢的散失整个团体的机会。

roofedcheese

学习啦。感谢

hxsh2000

还不错，考过了DP-900 Microsoft Azure Data Fundamentals

这种马上上完培训课，接着看完相关资料，再考认证的方式，还是最有效率的。对于我自己学习新知识，又不需要有很强的上手实操的要求来说，非常的有效率。

那么就继续原本九月计划，但之后没时间也没精力，要准备DP-203 Microsoft Certified: Azure Data Engineer Associate 的认证和考试。重新找到一定的热情继续了，毕竟找新的工作有这些认证的加持，还是非常有用的，特别是这些比较新数据分析的平台。接下来多找时间学习学习，然后一月或者二月争取考过(monkey12)

hxsh2000

Udemy的这个复习资料不错《DP-203: Data Engineering on Microsoft Azure + Practice Tests》：https://www.udemy.com/course/dp200exam/

应该是这个方面评分最高，又有超过两万人订了，打折的时候才十多刀，价格便宜量又足。八月的时候买的课程，看了四分之一，重新拾掇起来看。

在实际工作中，我已经把所有关于Azure Data Engineering的全权交给了那位资深的数据工程师，也按他的建议在数据导入前，加入了Staging layer到整个架构中。这两天面试的三个DA & DE面试者，感觉非常不错，其中的一个简直就是perfect candidate，既有行业经验，又刚刚经历了我们现在正在开始的历程，领先个一两年左右，而且有接近二十年的hand on经验，希望一月能开始。

hxsh2000

八月初找工作，有在一周内面试了七份工作，并且在一天中面试了三份工作。

这次赶在圣诞前，打算把之前一直要招的人的第一轮面试过一下，于是今天全部安排面试了，六个啊。主要还是有个新项目，要招一个geospatial analyst，现在用的供应商的合同工太贵，为了可以向其他地方挪点预算，只能把这块的招聘也提前，全放到一块了。感觉都有些面试免疫的样子了，特别是前两天有了不错的应聘者

hxsh2000

终于赶在假期前，面试了所有的应聘者，并且基本确定了人选，这个效率杠杠的。其中一位面试完后，马上安排了和CXO面试，并且给了conditional offer，在需要DE+DA的混合技能的技术领域，能够找到一定技术能力并且维持两性平衡的团队至关重要，在招聘开始时，就有了此计划，也顺利的实现了。另外的数据分析职位，也确定了两位应聘者到下一轮下面，一月中应该也能确定人选。申请过程中，有一位之前在公司工作过的Geospatial Specialist，虽然申请数据分析的职位的技能点不太合适，却也刚刚好之前就在打算多招Geospatial Specialist的职位的，在公司内部其他经理们给出了很好的推荐后，今天也顺利的见完面，等流程走完尽快的就可以继续了。

开始休假，辛苦，不稳定，且努力的的2021年，舒一口气，来年2022再战！

yelleft

足迹难的一见的学术贴。
赞一把。

hxsh2000

这个纯属个人观点和个人感悟了

近几年在各个大的系统实施中，遇到的technical lead或者deployment manager，几乎都是南亚过来的，由于在那边都在所在的咨询公司里做了十几年，所以技术和沟通的能力也都很强，不少都有很好的合作。这次招聘也是，应聘者超过60%以上，最后面试完后决定到第二轮的，全是南亚背景的。虽然在这个过程中，想招一些同胞，但无奈没有找到合适的。而这和我十年前招人的时候，形式有了很大的区别。当时主要是毕业生留下来后在这边工作过的，同胞还是有很好的竞争力；可到了现在，由于近几年的雇主担保以及项目外包，多了很多那边过来的很有经验的人，于是从平均质量和能力来说，差距渐渐的拉开。我也认为，国内科技公司这十年来的高速发展，使得有技术有能力的人才回流，也使得国外的有竞争性的同胞的减少。随着这种趋势的强化，其实同胞在这些领域的竞争力在慢慢的势微。这两年刚好遇到疫情，这类特别有竞争性的新移民少了很多，又外加上南亚疫情，使得外包公司也找不到很好的替代者，于是这两年来，机会多了不少。但趋势这个事情，一旦形成，很难在短时间内改变。

这就又回到之前和坛友讨论的教育如何公平性的话题上了。新洲鼓励精英和OC学校，集中学习好的，提供好的咨询培养，这种方式给了不打算花钱又学习好的尖子生更多的机会，而另一方面，由于尖子生和好的老师的集中到好的学校里，一般的公校得到的资源会相对更差，于是更大部分的人群反而受到影响；而维州限制精英和OC学校，除了很少数的精英学校，要么花钱去更好的私校，要么去比较平均的公校，又在一定的程度制造了有钱的获得更多的资源，另一方面又在公校体系里采取一定的大锅饭，让公校能够培养出比较平衡的梯形体系，而非精英集中的精英化教育。

为什么会把这些联系在一起呢？还是觉得对于总体的竞争性而言，极少的精英的精英化教育，是无法在总体上影响战略层面的竞争的（美国除外，因为虽然美国打着精英化的方式体现优势，但实际上美国是靠二战以后建立的整个体系，来维持精英得到更多的机会，创造更好的优势，并且打压其他国家的精英而得来的）。我们以前的教育，更多的是靠个人的努力，或者非常小范围的合作，取得竞争性的优势，并且不断的保持着自我的进步。而很少去影响和培养更大范围的人群，使得整个体系变成很好的梯队，从入门，中层，到上层，一直能够提供更好的基础以及支持，达到稳定的技能输送并且有很强的持续性。

我看到的或者感觉到的就是，少数非常努力和有经验的，结成连结，一起很好的交流并且互相形成非常有竞争力的相互分享，相互提高的非常小的圈子，而这些圈子很难惠及到入门或者中间正在向上的群体，也没有意愿帮助其他人，只是继续的通过自我的努力向上走向上看。于是更广泛的人群无法入门或者没有找到机会晋升。一方面，在各个领域的里面，有着极少数的精英，而随着时间的发展，渐渐的断层，使得中间的和入门的慢慢的脱节。最终是整个群体的竞争优势的流失，而也会影响到那些原本在顶层的少数精英。这个过程，在八九十年代的美国发生过，当时华人在IT领域还是有很多顶尖人才，可由于基数的无法大范围扩大，最后的影响力，变得可有可无，之后整个群体也就慢慢的失去了竞争的机会。而无论在哪个领域或者层面，都是需要靠着大量的人和很好的基础的群体，不停的发展以及向上流动，最终达到整个群体的竞争力上的优势的。

还是非常希望各位资深的人员或同胞，可以更多的分享自己的经验，知识和经历，多多的帮助更多的人群，让大家收益，最终也会惠及到自己和其他人。

hxsh2000

沉下心好好学新技术，重头翻着DP-203，注册了个十二个月免费的Microsoft Azure账号，开始跟着Udemy上面的演示，一步一步的跟着做。这个账号仅有第一个月有给免费的$200 USD credit，尽量一个月内用完。

https://azure.microsoft.com/en-us/free/
Build in the cloud with an Azure free account: create, deploy, and manage applications across multiple clouds, on-premises, and at the edge
(Popular services free for 12 months: 25+ other services free always + Start with $200 Azure credit [You’ll have 30 days to use it—in addition to free services.])

hxsh2000

26. Cosmos DB: Features
•        Cosmos DB: platform as a service
•        Cosmos DB definition: Microsoft defines “Globally distributed multi-model database service for mission critical applications
•        Cosmos DB: fully managed database as a service (DaaS); serverless architecture; no operational overhead (99.999% up time SLA); No schema or index management
•        Globally distributed: turnkey global distribution
•        Multi-model and multi-language: support all No-SQL databases (APIs); Java, Node.js, Python
•        Highly available, reliable & secure: 99.999% SLA; <10ms latency; all the data in Cosmos DB is encrypted at rest and in motion
•        Scalable: unlimited scale for both storage and throughput (horizontal partitioning)
•        Consistency choices: Azure Cosmos DB’s support for consistency levels like strong, eventual, consistent prefix, session, and bounded-staleness (5 level of consistency)
•        Use cases for Cosmos DB: IoT (Azure IoT Hub --> Databrick --> Cosmos DB); Retail and Marketing (Azure Web App --> Cosmos DB); Gaming (Azure Traffic Manager --> Azure API Apps --> Cosmos DB); Web and Mobile (Azure Traffic Manager --> Azure Regions --> Azure Cosmos DB
•        Cosmos DB: global distribution + multi model + highly available

27. Cosmos DB: Multi Model 5 APIs
•        Four types of No-SQL databases: Key-Value; Wide-Column; Graph; Document
•        Table API for Key-Value; Cassandra API for Wide-Column; Gremlin API for Graph; MongoDB API or SQL API for Document
•        Analyze the decision criteria

30. Cosmos DB: Throughput and Request Units
•        Measuring performance: Latency and Throughput
•        Latency: how fast is the response for a given request?
•        Throughput: how many requests can be served within a specific period of time
•        Request Units: measure the Throughput, Request Unit (RU/s)
•        Request Unit: % Memory, % CPU, % IOPS (Input, output, processing per second)
32. Cosmos DB: What is partitioning and partition key
•        Partitioning: the items in a container are divided into distinct subsets called logical partitions
•        Partition Key is the value by which Azure organizes your data into logical divisions
•        Logical Partitions are formed based on the value of a partition key that is associated with each item in a container
•        Physical Partitions: Internally, one or more logical partitions are mapped to a single physical partition
•        It is possible to move the logical partition from one physical partition to another physical partition, but it requires to transfer it completely

33. Cosmos DB: Dedicated vs Shared Throughput
•        You can set throughput at: Database level – Shared throughput; Container level – Dedicated throughput; It is recommended to set throughput at CONTAINER level
•        Rate-Limited: if the container try to consume more throughput than assigned to the particular container, then gets error message

34. Cosmos DB: Avoiding Hot Partition
•        Avoid hot partition at store
•        Avoid hot partition on throughput
•        Hot Partition: the un-even requirement (high demand one) on Store / Throughput average allocation which causes some logical partitions do not get enough resources, while other have underutilized resources

36. Cosmos DB: Composite Key
•        Restrictions in Cosmos DB: 1. Each document cannot exceed 2MB of data; 2. Every logical partition cannot exceed 20GB of data
•        The Partition Key should be such that it spreads across the spectrum of very distinct value to make sure the logical partition does not exceed 20GB
•        Composite Key: divide the data into different logical units, further want to shorten size of the logical unit / logical partition

37. Cosmos DB: Partition Key best practice
•        Partition Key is defined when creating the database or container, and cannot be changed later (only to create the separate partition with new partition key and move the data from old container to new container)
•        Evenly distribute storage:
Make sure you pick your Partition Key that doesn’t result in hot spots within your applications
Have a high cardinality
Don’t be afraid of choosing a Partition Key that has a large number of values
•        Evenly distribute requests
RUs evenly distribute across all Partitions
Review WHERE clause of top queries

hxsh2000

"The job market is tough - and for the Executive and Senior Manager, the higher up the organisational pyramid they go, the tougher it gets.
......
Your Personal Brand and CV must therefore present you as someone special - not just 'one more highly-paid person looking for another job'.

Those at senior levels, often find the process of replacing their income source quite challenging - where their self-esteem, self-confidence and self-worth are tested to the extreme - an experience that often leads to them lowering their sights to match their lower sense of self - which is not the best state of mind in which to be looking to replace an income, or to secure a much better job!
......
For the Executive or Senior Manager facing career transition, either through yown volition or circumstances outside the control, this book - the first of three that collectively span the entire job hunting process - is essential reading.

* Articulate your value to another organisation!
* Present yourself as someone of real value!
* Enable potential employers to understand your value to them!

The world needs highly skilled people to lead companies well; but those highly skilled people also need to understand and articulate their value too.

If you 'don't know' how good you are, how can you expect others to know?
"

hxsh2000

39. Cosmos DB: Time to Live
•        You can set the expiry time for Cosmos DB data items
•        Time to Live value is configured in seconds
•        The system will automatically delete the expired items based on the TTL value
•        Consume ONLY leftover Request Units
•        Data deletion delay if not enough Request Units: though the data deletion is delayed, data is not returned by any queries (by any API) after the TTL has expired

40. Cosmos DB: Global Distribution
•        Global distribution benefits: Performance (Ensures high availability within a region; Across regions, brings data closer to the consumer; Reduce the latency as close to the customers); Business continuity (In the event of major failure or natural disaster)

43. Cosmos DB: 5 Consistent Level
•        Strong --> Bounded Staleness --> Session --> Consistent Prefix --> Eventual
Strong Consistency, High Latency, Lower Availability --------> Wake Consistency……
•        Strong: no dirty reads, high latency, cost highest, closest to RDBMS
Bounded Staleness: dirty reads possible, bounded by time and update
Session: No dirty reads for writers (within same session), dirty read possible for other users
Consistency Prefix: dirty reads possible but sequence maintains, reads never see out-of-order writes
Eventual: no guaranteed order, but eventually everything gets in order
•        Set default Consistency Level for entire account, and weaker Consistency Level for requests

46. Cosmos DB: Security
•        Role based access control (RBAC) / Identity and access management (IAM)
Network security
Access security keys
Cross-Origin resource sharing (CORS)
Azure private endpoint
Advanced security option

47. What is the Data Lake?
•        Data Lake is a repository for large quantities and varieties of structure, semi-structure and unstructured data in their native formats.  Azure data lake is nothing more than a big container of the data, a very big container.  You can throw as much data as you want into the data lake.  And later, whenever you are ready, you can query it.  There is no limit in the data lake.

48. How Data Lake Gen 2 evolved?
•        Hadoop HDFS: Hadoop Distributed File System, database of Hadoop
•        Fault tolerant file system
Runs on commodity hardware (cheap)
Data Platform use it: MapReduce, Pig, Hive, Spark etc.
HDFS in Cloud = Data Lake Storage Gen1
•        Azure Blob Storage:
Large object storage in cloud
Optimized for storing massive amounts of unstructured data (e.g. text or binary data)
General purpose object storage
Cost efficient
Provide multiple tiers
•        Azure Blob Storage + Data Lake Gen 1 = Azure Data Lake Storage Gen 2 (always use Gen 2 for the big data storage needs; exception: infrastructure built with USQL which is not supported in Gen 2)

49. Azure Blob Storage vs Azure Data Lake
•        Azure Blob Storage vs Azure Data Lake Storage (Gen 2)
Azure Blob Storage        Azure Data Lake Storage (Gen 2)
General purpose data storage        Optimized for big data analytics
Container based object storage        Hierarchical namespace on Blob Storage
Available in every Azure region        Available in every Azure region
Local and global redundancy        Local and global redundancy
Processing performance limit        Supports a subset of Blob Storage features
        Supports multiple Azure integrations
        Compatible with Hadoop

50. Azure Blob & Data Lake Security options
•        Authentication: Storage Account Keys; Shared Access Signature (SAS); Azure Active Directory (Azure AD)
•        Access Control: Role Based Access Control (RBAC); Access Control List (ACL)
•        Network Access: Firewall and Virtual Network
•        Shared Access Signature (SAS): 1. Security Token String; 2. “SAS Token”; 3. Contains permission like start and end time; 4. Azure doesn’t track SAS after creation; 5. To invalidate, regenerate Storage Account Key used to sign SAS
•        Azure Active Directory (Azure AD) and Role Based Access Control (RBAC) works side by side

aus7788

mark

hxsh2000

今天瞄了一下最近一周多以来发布的工作，不少大公司发了Head of Data xxxxxx的相关职位。感觉自己还是没有非常的在申请工作也特别要新工作的模式中，也还没有更新完最近的一份工作的简历准备申请。

最近很多地方都在招data governance的相关职位，比如data governance, data steward, 或者data assurance等等，也都是整个数据部门中的关键一环。在新组建的数据部门中，对这个职位的理解和要求，相对来说并没有其他的DA, DE要求那么高并且完整，属于性价比比较高的职位，也更容易考虑整个团队两性平衡而招女士，算是挺好的机会的。这个领域的中高阶要求是DAMA-DMBOK，Data management body of knowledge。

hxsh2000

前段时间和一位很好的朋友聊数据分析整个前景和方向，她是一直都在数据和BI部门的，对于整个行业的未来的看法是，现在和将来的趋势是越来越会技术化，通过技术的能力和创新，对整体经济和业务增加更多的价值，特别是澳洲的环境，强技术的人才并不多，所以对于有强技术特别是拥有新技术的人才，将来的发展前景会非常的好，也是未来的趋势。

我更多的是待在业务部门的，整个趋势我看到的，也是随着数据分析团队或者部门正在从CIO管辖下的IT部门独立出来，原本的在CIO下辖管理数据的人员，很难直接被提到和CIO平级的Chief Data Officer职位上的。而这种职位按现有的趋势来说，往往会被Strategy, Transformation或者Finance/Commercial背景的来担任。在之前和现在的公司，所经历的也恰恰证明了这个新职位的归属，而随着业务和战略背景的进入，强技术并且拥有不可或缺的技术能力的人，有非常好的机会外，未来的数据和分析，会有更多的非纯技术背景的人们的加入的，因为背景相似的人们才能更容易互相沟通和欣赏，而这种混合和非技术背景的上层的加入，反而会逐步的弱化原本数据分析在IT部门时重视技术核心的基本思维方式。

这也就是我最近拒绝了当Data Engineering & Data Platform的头，还是更愿意管理Data Engineering & Data Analyst的团队。因为随着业务部门的大老板的加入，更多的会让整个部门的关注点转向，从以build up solid data foundations的思考模式，转化为更能增强价值转化的思维方式。而在这种团队中，做传统IT和数据的方向，会从原本的核心，慢慢的被弱化到纯支持的角色。而随着越来越多的业务背景的加入，技术背景的团队也会被慢慢的边缘化而无法在这个环境中，有自己足够的话语权并且得到高层的支持。

hxsh2000

三周前面试的那个Senior Manager的职位，说是第二轮delayed了，得等到新年后才继续进行。可由于hiring manager很快的会离职，那么第一轮的面试的意义和成果用处也不会太大。感觉这个职位，内容甚至招聘过程，非常可能重头来过

买了本DAMA-DMBOK的书，到货了，开始看看。年初要帮忙老板建立起来data governance & data steward的团队，需要清楚需要什么类型的skillsets还有团队需要哪些职位，而这本DAMA-DMBOK的书都有涵盖这些内容，很类似于Agile/Prince2在项目管理中，也有谈到项目管理和delivery的团队配置和技能要求。

hxsh2000

Chapter 4. Data Storage: Relational Data Stores

57. Learning Objectives
•        Azure SQL Database Offerings:
PaaS vs IaaS
PaaS deployment options
Purchasing models and Service Tier
Elastic Database
Managed Database
Security       
•        Azure SQL Datawarehouse (Synapse Analytics)
Traditional vs Modern Architecture
Azure Synapse Analytics
MPP Architecture
Storage and Sharding Pattern
Data Distribution and Table Types
Partitioning
•        Loading Methods
PolyBase vs SSIS
PolyBase steps and demos
•        Azure SQL Server vs Datawarehouse

58. Azure SQL: Why?
•        What is Azure SQL Database: a relational database-as-a-service in the cloud with mission critical capabilities
•        Why SQL Server in Azure?
Fully managed
Predictable performance and pricing
Elastic pool for unpredictable workloads
99.99% availability built-in
Geo-replication and restore services
Supports existing SQL Server tools, libraries and APIs
Scalability with no downtime
Secure and compliant for your sensitive data

59. Azure IaaS vs PaaS Database Offerings
•        IaaS: Infrastructure as a Service
SQL Server on Azure VMs, SQL Server inside a fully-managed VM in Azure
Microsoft SQL Server, migrate without any database change
Full control over database engine
Can bring existing license to save cost
--- RESPONSIBILITIES:
Maintain operating system
Maintain SQL Server
High Availability
Disaster recovery
Performance
Change control
Security
--- Benefits
99.95% availability
Full control over SQL server engine
Full parity with matching version of on-premise SQL server
Easy migration from SQL Server on-premise
Private IP address with Azure VNet
•        PaaS: Platform as a Service
Azure SQL Database, Database-as-a-service (DBaaS) hosted in Azure
Additional features
Pay-as-you-go service
Multiple deployment options and tiers
--- RESPONSIBILITIES
Choosing the right service tier
Test the high availability and disaster recovery
In-built performance tool to support the performance setting
Change control
Security tools to support security setting
--- Benefits
99.99% availability guaranteed
Online change of resources (CPU/Storage) with no downtime
Most commonly used SQL server features are available
Built-in backups, patching, recovery
Ability to assign necessary resources (CPU/Storage) to individual databases
Built-in advanced intelligence and security

60. Azure SQL: PaaS Deployment Options
•        PaaS: 1. Single Database; 2. Elastic Pool; 3. Managed Instance
•        Single Database: each DB with its own guaranteed compute, memory, and storage; isolated database that is perfect for application that needs a single data source
•        Elastic Pool: fixed resources will be shared by all databases in the pool; collection of single databases with a shared set of resources such as CPU or memory
•        Managed Instance: each Managed Instance has its guaranteed resources; a set of databases that can be used together, easy migration of on-premise databases