Data相关工作的求职学习分享和Q&A（给出Q，希望有A）

gdzqzzx

昨天半夜写完side project后和家里聊完天，有点睡不着，忍不住有一搭没一搭地刷着各种求职相关的信息。无意中看见新足迹里各位的分享。一直以为新足迹是澳洲生活常识集散地，没想到也是有那么多其它方面尤其是IT相关的内容，鼓起勇气注册开了这个帖子。一方面是希望有人可以解答自己的疑惑，另一方面，厚颜地说一句，我相信我的这种疑惑都是做数据科学新人比较典型的困惑，希望可以在本帖收集到答案，惠及后来者。

先自我介绍一下背景，我是学data science的，去年年底毕业后，开始找工作。不同于论坛里那位三周内就有全职offer的前辈，我过完了农历新年后，才真正鼓起勇气海投简历，大概三周前才终于有一次data engineer的笔试+面试机会（大概是因为我工资喊得少），然后终于两周前从学校的network里拿到了一份casual，虽然类似RA而且工作没有特别相关，但是谢天谢地他们给了我data analyst的title，好歹可以丰富简历。虽然不算上了岸，但是好歹有了救生圈，稍稍缓解一下焦虑，可以定一定神反思自己怎么到达自己真正的目标。

（个人眼中的）市场概况
虽然我过了农历新年才开始投简历，绝大部分原因是因为自己很懒，但是还是忍不住为自己辩解一下：如果诸君真是以data scientist为目标，那么我悲观地说一句，澳洲的市场基本容不下junior data scientist的存在。seek上的ds工作，基本是招lead ds，工作经验最低三年起步，skillset保底要有一种云，而且因为数据的敏感性，大多是要求PR或者citizen_(:з」∠)_。不过话不能说死，只要基本的机器学习方法和统计知识过硬，而且对深度学习基础概念有到位的理解，而且有NLP或者CV任意一个方面的经验，我觉得ds这个位置是不在话下的。
所以现阶段我基本是只保留ds的学习而放弃ds的求职专攻data engineer/data analyst。
如那位三周拿到offer的ds前辈所说，没有经验的新人想走ds，从要求建模经验的da开始更加现实。而我个人因为有一点点dw的经验和认为de是刚需更强的position，目前是以de为目标进行努力。
说是以de为目标进行努力，实际上我还是打算以ds的skillset为基础进行准备，只是de相关的内容优先处理。

DS磨剑之数理统计
其实这一部分目前是没有问题的，因为自己努力的程度还到不了向别人提问的阶段。在学校学的知识，其实还没有系统化，并且能够以英文自由复现的程度（explain to your grandmother what's the diff between bayesian & lr/what's p value blahblah)。并没有脸提出任何问题。目前计划是考证优先，然后没一两天准备完一个model。
但是对于没有统计基础但是希望走ds的朋友，我这里简单给一个list供大家参考
微积分和线代的基础（线代最好高于基础）
各大分布和检验方式
假设检验和统计模型的各大指标
回归和由回归衍生出的各种模型，概念，优缺点，怎么衡量怎么调用之类的
还有别忘了一字并肩王贝叶斯

DS磨剑之CS
CS相关的内容，我自己会把它分成三部分：
1. 机器学习&深度学习方法：
这个也暂时没有问题，还是那句话，在学校学的知识，其实还没有系统化，并且完全能够以英文和代码（哪怕是调包呢QmQ）只是个自由复现的程度，没脸问……
过于这个部分list会很长，因为这些都是在打工路上写的就不详细展开了，如果有哪位有兴趣的，可以在下面留言。能够回答的，我都尽量回复。
然后才是真正我有困惑的部分
2. 工具：
从前考过SAS觉得考证意义不大，现在找工作了，才知道考证的意义。所以目前是优先计划是拿下一两个证书先的，那么请教：
就市场使用度而言：考AWS还是Azure？考PowerBI还是Tableau？
目前澳洲DBA和Data Engineer的常用工具都是哪些？或者说我应该用什么做一个项目放github上作为portfolio？
3. 代码能力
其实我不是CS背景（没有修过数据结构和算法也没有写过千行代码那种），但是因为各种机缘+头铁修了些很硬的课，读ds时被这边学校免了CS课，当时窃喜（毕竟统计课就令人痛不欲生），现在才发现都逃不掉。
对于数据结构和算法，我知道二话不说，先生吞leetcode再好好消化，但是对于怎么写有规模的项目，我摸不着头脑。每次看见github里面的scripts一个个class一个个function安排得明明白白，而我自己还在Jupyter勉强凑出function一刀流，就非常羞耻。我知道要get my hand dirty，但是想请教各位前辈：这种拆分class和function的思维，业内叫做什么？有什么地方可以先补一下理论基础，再自己练习呢？

本帖匆匆写就，如果各位有兴趣，不妨大家展开讨论。如果有哪位前辈愿意私下指教的话，请私信留下你的联系方式。不胜感激。

JJJJJJZ

楼主很优秀啊！

endevour

做data science经验真的很重要，我能理解为什么招人的要招有工作经验的，书本上教的都是很孤立和理想化的，现实当中的数据一般都很复杂和杂乱。而且行业知识也很重要，这些都只能在实际工作中学。

ryu2011

如果楼主是citizen的话，可以试试统计局的毕业生招聘，他们要数据方面的毕业生。

oceangod

gdzqzzx

JJJJJJZ 发表于 2021-3-26 13:07
楼主很优秀啊！

非常感谢鼓励，虽然我悲观地认为还没找到工作就算不上什么。不过我会努力朝着大家共同认可的优秀去努力的！

yabyzq

aws加gcp，powerbi 和tableau最好都要，但别考证了，随便搞个网上course写简历上就行。想shortcut没必要学编程思想，kaggle多玩一下学学人家怎么做就行。别把ds想得多高大上，真正卖产品的才需要很可靠的sdlc，做业务方面有些基本的编程概念基础就好了，关键是找use case和找到对的approach

gdzqzzx

ryu2011 发表于 2021-3-26 21:19
如果楼主是citizen的话，可以试试统计局的毕业生招聘，他们要数据方面的毕业生。 ...

感谢回复，可惜我现在还在申485的路上，以至于连Darwin和Perths的工作我都是抱着ta敢收我就敢去的态度投简历，但是ACT就永远只能看看需要的skillset之后忍痛走右上角。

但是话说回来，如果哪位想往数据分析/可视化发展需要做一些作品展示，但是不知道用什么数据比较好找，除了Kaggle的各种数据集外，我会更推荐各国的open data，尤其是政务公开数据（统计局数据，有的地方会有专门的开放数据网站）， 格式可读性高数据又干净。澳洲本土，美国，台湾（是的，别看地方小，我刚入门open data时台湾的open data构建世界第一），大陆的话，各大城市和国家级部门的都不错（尤其是文化界新增的博物馆名录，掉头安利）。

（去年我也做了一部分，然而每一个都因为各种原因，主要是因为懒惰，就搁置下来了。希望今年可以继续QwQ

gdzqzzx

yabyzq 发表于 2021-3-27 01:10
aws加gcp，powerbi 和tableau最好都要，但别考证了，随便搞个网上course写简历上就行。想shortcut没必要学 ...

好的，感谢回复。目前的确倾向AWS，powerbi的话，还是想弄一个证的（因为学生有折扣wwww

DS在我看来，是可高可低的，目前我还是觉得高的，可能真正入了行后才能切身体会是什么意思吧，毕竟data science真正难的有时甚至不是user，而是没有data……

至于编程思维，我觉得我审视自身后觉得还是很需要的，因为觉得自己没有基础概念。例如同样写一个爬虫，我自己又是一刀流，结果偶然间看到人家只是入门级的代码，哇，都是一刀流，但是每个function的功能清晰明了，可维护性极高，而我只停留在能跑就好的阶段QwQ。

当然，有同道会觉得DS算法模型才是核心，这个我当然万分赞成，但是当你需要需要大量测试各种activate function和hyperpara的时候，当你要customize人家模型的时候，你就极需要这种思维去看懂人家的代码或提高自己的实验效率了。

不过话又说回来，我写完上文才忽然意识到，我这种言论还是学生气太重，工业/商业上，这种问题用钱就可以解决掉大半了，automl万岁wwww

P.S. 这位朋友或许是业内？如果有机会还请考虑内推～

limyae2009

本来想等狐狸和悉尼麦迪的，不过我先说了：PowerBI不难而且钱多多：）

gdzqzzx

没想到自己的自言自语还是有人回复鼓励的，万分感谢诸位。

今天又是见证我读的course有多理论的一天，虽然自己一直有自省学数据库就知道SQL，并没有用过什么真正的数据库跟跑实战项目，但是见到对面share过来的ER图还是震惊了，果然现实真的很现实，这还只是学界的水平啊…是我浅薄了。对面的大叔（或许只是大哥，只是留了胡子显老，再说我也不小了）还好心告诉我，你当然可以用python没关系来，但是我们更习惯dbeaver去查数啦。回头一试python，果然是我太年轻了…

还好学界比工业界要温柔太多，我果然是很幸运的QwQ

于是今日份的学习list：
PostgreSQL+DBeaver

DS和DE相关也需要了解的DB/DW（偏向nosql
CouchDB，Hadoop家族（从hadoop到spark，到Hive&Hbase，再到放弃

gdzqzzx

limyae2009 发表于 2021-3-27 01:57
本来想等狐狸和悉尼麦迪的，不过我先说了：PowerBI不难而且钱多多：）

非常感谢建议！我会把PowerBI的优先度提高的！

heroxk

楼主总结的辛苦了。

不是说容不下Junior Data Scientist，因为DS入门门槛越来越低，很多人参加个培训，突击一下ML的知识，都想着入行。所以竞争比较激烈。刚从学校科班毕业的DS毕业生，相比较一个有2-3年行业经验的DA想转行DS(有潜力并且已经upskill一些DS知识和技能)，是我的话，肯定要后者。不是因为后者技术强，是因为后者在行业机构这么久，对数据本本有insights。

而且现在DS off-the-shelf 产品越来越多，很多business，用business SME+DA+DE+vendor产品，比整一个DS团队从头build in-house go-to-market的速度要更快，更便宜，更有效率。

很多人把Kaggle耍的很溜，以为那就是DS，错了。实际中，Kaggle的那套只占10%，有90%是理解业务，找数据，多数据源整合，数据的比对和修复，展示分析结果。而留给modelling的时间不会特别多，导致很多时候，用稳定常用的包和算法就搞定，谁会让你没日没夜的像Kaggle那样去一点一点的压榨性能？1000行的代码，950行都是在准备数据，只有50行估计是ML的。那50行好弄，挑战都在那950行里面。

要想在澳洲成为一个好的DS，比如到Senior/Lead这种级别，光技术好是不够的。商业方面的敏感性，storytelling能力，consulting能力，销售能力，很多时候都远超技术本身。

你说到PowerBI，之前我们给的面试家庭作业(senior insights analyst)，是给一堆数据，回去自定topic，做个senior management insights dashboard给某一C suite看。工具不限，其实并不是考察你是用铅笔(tableau)还是水彩笔(PowerBI)画画，而是看你画出来的东西。PowerBI不难，自学一下1个星期足够了，visulisation和storytelling是考察重点，但这非常依赖经验甚至是天赋。

sunnyocean

楼上高手，powerBI一周就能学好?零基础可以么?或者需要什么基础知识。多谢啦

heroxk

sunnyocean 发表于 2021-3-27 10:12
楼上高手，powerBI一周就能学好?零基础可以么?或者需要什么基础知识。多谢啦 ...

你说的0基础，是0技术基础，还是0分析基础，有没有做过商业数据分析？对于有商业数据分析经验的人，会一些sql和excel。学PowerBI快的话三天就能出关。但是门槛低简单容易上手的东西，对你简单，对其他人也简单。所以到最后还是看别的方面。

分析是关键，工具只是支持。

gdzqzzx

heroxk 发表于 2021-3-27 09:47
楼主总结的辛苦了。

不是说容不下Junior Data Scientist，因为DS入门门槛越来越低，很多人参加个培训，突 ...

感谢回复，看来这位也是业内，如果还有更多见解，还请不吝赐教。

关于DS工作内容的见解，我个人非常认同，我觉得业界的DS是敏锐的Business insight+熟练的data wrangling+扎实的modeling。一位大前辈曾经微笑着抚摸我的狗头说，其实没什么难的，数据处理好了，把常见模型都试一遍就好了。当然数据怎么才叫处理好，常见模型都有哪些，就看你自己了QwQ……这也是为什么我在DA和DE之间更倾向DE，至少对工具熟练掌握可以提高我实现想法的效率吧……

所以我有时在想运气还是很重要的啊…隔壁印度老哥劝我，”不要总想着DS，先入行”，是很有道理的…… 什么都不懂但是能接到一个有真实数据和需求的项目和比自己学十个工具要强太多了！

论坛里有一位朋友从BI开始自学DA和DS，我觉得他的思路就很棒，我之前有点太过沉迷工具的掌握，看完他的总结，我会想去快速过一遍人家是从什么角度教没有基础的人做数据分析的。在学校里，考察的你的模型结果够不够好技术掌握程度，但是业界，我觉得还是看你熟练的成套运用和好好地tell a story。

我自己认为基本要准备的routine是这样的：
数据清理的基本步骤（根据不同的数据类型，numeric/categorical/textual/graph…会有不同的处理方式，但是基本操作如补缺去重拆解连接重组，我觉得应该要总结出一个基本套路先后次序。
模型分析好坏的指标
storytelling的insight（insight如何的确因数而异，但是同理，drill-down/sum-up/还有各种trend，我想是应该有一个基本的套路的）

用包括kaggle在内的各种开放数据总结出上述套路，是我目前重新目标之一（少壮不努力诶…

yabyzq

gdzqzzx 发表于 2021-3-27 01:42
好的，感谢回复。目前的确倾向AWS，powerbi的话，还是想弄一个证的（因为学生有折扣wwww

DS在我看来，是 ...

其实data sciense这个名字除了marketing和招聘外，真的很confusing.其实说实话就data engineer, analyst, machine learning engineer 和research analyst/scientist。analyst越来越需要full stack，懂pipeline和machine learning。澳洲的industry不做产品的话90%用不了deep learning，套套xgb,rf之类的就行了，data到处都是，难就难在除了几个common use case像fraud，churn,ctr，cv transfer learning之类的，很难找到真正能deliver value的，你怎么设target和找什么data是关键。kaggle不是看你算法多好，是一种技巧的积累。不过现在kaggle很多cv，nlp的东西，我看也看不懂了。
我想拉个群交流学习下，不过年纪大了真没时间，lz看看可以搞一下不，论坛大神什么狐狸，麦迪我都不认识????。refer的话，ds,ml track我偏向于有几年经验的，招graduate training太累，刚能做事说不定就走了，除了graduate program能fast track的一般不划算

gdzqzzx

yabyzq 发表于 2021-3-27 21:27
其实data sciense这个名字除了marketing和招聘外，真的很confusing.其实说实话就data engineer, analyst, ...

感谢前辈坦诚的回复。

上面说的，我其实都明白，DS其实更多是商业概念，不过既然已经上了这条船了，自己也不甘心就这样回国，那就只能想办法到岸。By all means，先入行，入行，入行！只要入了行，我相信我就可以成为前辈口中愿意refer的人了，这点自信我还是有的。

关于Kaggle，不得不说其实你说的也是对的，我自己兴趣是text analysis，所以NLP相关一直都有关注，也会transformer也玩过一下，但是必须承认，所谓DS和ML落地真的很难，而且都越来越偏向寡头制了，没有良好的硬件，即便你想fine-tune一个小小的model都做不到，更不用说重新训练。这条路要走深，还是要有优秀的功底且背靠金灿灿的大山。

至于拉群……如果哪位有兴趣牵头我是乐意加入的，但是组织就没有精力了。而且最后很容易就变成收藏就是学过，倒不如在这里自己碎碎念还有一种被围观监督的效果。

BreakingBad

LZ写这么多辛苦了，高亮一下，希望能得到更多人的帮助

BreakingBad

另外拉群这种事就请不要在论坛上搞了

gdzqzzx

BreakingBad 发表于 2021-3-27 21:55
另外拉群这种事就请不要在论坛上搞了

好的，谢谢版主highlight！

gdzqzzx

sunnyocean 发表于 2021-3-27 10:12
楼上高手，powerBI一周就能学好?零基础可以么?或者需要什么基础知识。多谢啦 ...

这位朋友，你楼下的大神说得很对。我没有很强的基础，但是即使是以我的背景，全天学习，强行硬推，也可以在5天内理清所有的功能，只是难的是把它熟练运用到真实场景，或者至少你需要它时，你想得起还有这么一个功能去尝试。（对我来说还有怎么把这个东西做出成功的作品展示自己的能力QwQ）

我这里给一个big picture的概念：我觉得一般的分析软件，在功能模块上分4个部分：
1. 数据导入（Import）
2. 数据预处理 （最恶心最耗时最劝退）
3. （真正的）数据分析（探索性分析+建模分析）
4. 数据导出

我觉得我当年学SAS时的感受是很典型的初学者过敏症状，就是先被各种五花八门的数据导入冲击到头昏脑涨（明明我只用excel，顶多加个csv），然后就是被多到怀疑人生的看上去很有用但是想想不知道怎么用的数据处理功能强力劝退。好不容易坚持下来你以为可以看到戏肉的数据分析了，结果只有简单介绍甚至根本没有——分析内容在别的书里，整整一个系列，足足三四倍的量。最后只能草草把好歹看上去还挺简单的数据导出过完。

我还没真正开始看PowerBI，只是之前帮一位朋友preview过一本书上的内容，看上去PowerBI更多是一个整合平台，要配合power pivot, power query和power view之类的数据处理+可视化工具进行使用，那本书也是把相当多的篇幅放在DAX function的数据处理内容上，分析和可视化仿佛基本没有。如果是有分析经验的朋友，大概过一遍大致功能性的内容再看看cookbook就可以七七八八了，但是初学者大概会看得很困惑又不耐烦（也有可能是选书的问题）。

所以如果这位朋友你之前没有任何分析软件的基础而且不是全职学习，在每周6小时的学习量的情况下，一个月是你了解并掌握PowerBI是保底的时间。不过请不要担心，当你了解了一个分析软件的大致内容，再拓展看其他就会舒服很多了，所以有心学的话，请务必坚持下去。

啊，但是最后依然补充一句，这上面还是我非常学生气的做法，如果你希望的是一个证书，淘宝可以给你更好的帮助wwww。

heroxk

DE有不同种类，有偏向Technical和provisioning的DE和偏向做Analytics的DE，后者现在有个新名词叫Analytics Engineering (https://blog.getdbt.com/what-is-an-analytics-engineer/)。技术是相似的，不同的是mindset，所以也要看你偏向想做哪种。

前者非常依赖于tech和tool，处理的是data，后者偏向于面向business特定场景做engineering，面对的是‘information’，要想做的好，需要很强的business knowledge。

选择DE是不错的选择，DE的市场价不会低于同级别的DS。

海绵萧萧

看了你的描述，我觉得好难入行

gdzqzzx

海绵萧萧 发表于 2021-3-28 00:51
看了你的描述，我觉得好难入行

其实也看选择方向的，数据工作里我选的方向是中等难度，又还死抱着建模和deep learning不放，所以显得很吓人。而且数据导向的招聘市场正在饱和…所以…

不过，我觉得：

有过职场经验buff+10%（是的我是没有经过社会毒打的温室花朵）；
如果专注DA/BA会好不少；
英文好的话buff+30%；
有pr的话Boss战力-50%；
有network的话就是自带橙武了。

朋友你可以面政府工，底子一定比我好，所以只要坚持总会迈过那道坎的。

gdzqzzx

heroxk 发表于 2021-3-27 23:33
DE有不同种类，有偏向Technical和provisioning的DE和偏向做Analytics的DE，后者现在有个新名词叫Analytics  ...

感谢前辈指引，感觉这个Analytics Engineering这种洞察分析需求的数据管理的位置就很符合我的追求。下次知道怎么向面试官描述了。其实我也没有真的那么喜欢建模，选这个一方面是觉得得出的结论很酷炫也很有趣，另一方面还是因为这个岗位好像钱很多。我其实还是喜欢那种支配数据流的感觉，而不是像建模一样给数据量体裁衣。

gdzqzzx

昨天猛地收到本周四due的一个线上面试，忙碌的入职探索中对自己的破烂英文焦虑更加雪上加霜QwQ

还是更新一下这两天DE方向需要掌握的东西：
1. 基本的Relational DB；
2. 几个著名的NoSQL框架（Hadoop，Spark之类的）；
3. Kubernetes（天哪现在Docker都是时泪了……）；
4. 常见的ETL工具（Kettle？）；
5. Java/C++之类的开发经验也是要的（这样子的吗……头好大）。

路漫漫其修远兮，先从完成PostgreSQL开始吧……
（请保佑我顺利搞定我的interview，不求漂亮，只求顺利搞定QwQ

glum

gdzqzzx 发表于 2021-3-30 22:21
昨天猛地收到本周四due的一个线上面试，忙碌的入职探索中对自己的破烂英文焦虑更加雪上加霜QwQ

还是更新一 ...

我看下来，目前你最大的问题是，全是自我想象的纸上谈兵

hxsh2000

楼主看好你哦，刚毕业能有这个进度非常的难得，有优秀的基础，好好努力哈

gdzqzzx

glum 发表于 2021-3-31 22:46
我看下来，目前你最大的问题是，全是自我想象的纸上谈兵

啊，还请指点，可以有哪些现实一点的做法摆脱这种困境呢？