数据基础普及贴

jasonliu234

mark 学习

dogdogkun

nuptwg 发表于 2016-11-28 19:51
架构，对于大数据来说，我们是最底层的，经常被问我要的数据哪去鸟？

哈哈，确实是这样，我们组最忙的就是负责ETL那个人，所有人data问题都找他

dogdogkun

heroxk 发表于 2016-11-28 18:42
澳洲拿全奖的PhD，基本都是1st class honour或者master吧，成绩好像都是要GPA3.7，3.8以上，至少G8是这样 ...

我觉得最好的local学生要不找工作，要不去英美升学，很少留本地大学读phd的。我接触的phd学生，国内来的还不错，一般基础比较好，但生源还是没法和美帝比啊（二流大学都能找到一大帮清北科复的学生）。但是这边很多东南亚和中东来的phd学生就不行了，我见过有读CS phd不懂coding的，读EE不懂正态分布的，G8学校，不知道怎么招进来的

heroxk

dogdogkun 发表于 2016-11-29 20:58
我觉得最好的local学生要不找工作，要不去英美升学，很少留本地大学读phd的。我接触的phd学生，国内来的 ...

这个不假，工科PhD中国学生是主力，南亚中东的就不咋的了。local确实读工科PhD的不多，优秀的本科生毕业时诱惑太多了。

Janet

我觉得DS 主要还是 Statistic 做基础， Computer Science 当工具， 如果CS基础差点， 但是数学/统计背景强的话， 还是非常容易上手的。 我们组找的数学背景的undergraduate 比social science 的PHD有用

鱼皮花生

Janet 发表于 2016-11-29 22:10
我觉得DS 主要还是 Statistic 做基础， Computer Science 当工具， 如果CS基础差点， 但是数学/统计背景强 ...

所言极是

K.U.Double-D

这个行业走技术路线工资能到多少？ 200K有吗？

鱼皮花生

谈谈个人经验。
数学+统计背景，读了master出来找工那年已经是2012年底可以算2013年，市场还行（比现在好），由于在小城市没找几天导师的老婆推荐了一份在大学做research assistant的工作，由于在coding真的是属于挤牙膏类型，推一点挤一点非常的痛苦，可是老板给的工作全部都是coding,那一年真的属于“生不如死”，本身就不擅长的还要去做，每天压力大到睡不着。做了一年辞职了。
感觉自己比较擅长“嘴皮子”活，然后就想朝着能跟客人联络联络的方向走，收到的面试基本上都是政府跟学校的，外面公司由于没有长的工作经验，很多公司需要的技能，比如最简单的SQL，adv.excel技能没有，只是沉醉于R跟SAS的空间（其实到了工作上才觉得一个linear model，一个最简单的q-q plot就可以做很多的事情了，完全用不到学校的那些）。
读书时候以及第一年工作的时候也去考了精算第一阶，哎，茫茫学海。之前还去保险公司实习，给自己设想毕业了能进保险公司。
寻了家做marketing+retail的公司（即将上市），工资不多但时间比较自由，想要办私人的事情也比较方便，自己心思又比较活络，开了家小公司。就这样混着至今。

dogdogkun

K.U.Double-D 发表于 2016-11-29 22:44
这个行业走技术路线工资能到多少？ 200K有吗？

DS现在行情是起步价80-100k 高级的三年以上经验能有120-150k 再向上单纯靠技术好像比较难

dogdogkun

鱼皮花生 发表于 2016-11-29 22:57
谈谈个人经验。
数学+统计背景，读了master出来找工那年已经是2012年底可以算2013年，市场还行（比现在好） ...

牛人啊 可以谈谈创业的经验吗

鱼皮花生

dogdogkun 发表于 2016-11-29 23:02
牛人啊 可以谈谈创业的经验吗

哎，说来都是泪。
在刚毕业的时候，拼命的朝着专业类的工作找。
感觉code这一块把自己推在了一扇门外面。也看清了自己的水平。
进了现在的公司，感觉老板也挺器重我，让我联系海外的客户，聊着聊着就扯到了“你给我寄点特产，我给你寄点特产“这方面了，然后就形成了现在个人的一家小公司做进出口。当初设想的时候有宏伟的目标但是由于我家人反对（觉得一个女孩子好好上班吧，别整这些实业）思前想后也就暂时放弃了。
感觉离开了那个圈子，想要回去很难了。
有时候想何必呢当初再读个master完全没有鸟用，就是华人思想里读个Master听起来好点。

dogdogkun

Janet 发表于 2016-11-29 22:10
我觉得DS 主要还是 Statistic 做基础， Computer Science 当工具， 如果CS基础差点， 但是数学/统计背景强 ...

一般DS用的统计，正牌做data mining/machine learning的phd也能掌握
灵活运用统计和设计idea确实是关键，但具体实现还是要靠coding，特别是清理数据，一般理论背景以前只是写几行matlab跑循环的刚开始会吃力的，除非有人帮你打下手做脏活

lisam

mark

heroxk

鱼皮花生 发表于 2016-11-29 22:57
谈谈个人经验。
数学+统计背景，读了master出来找工那年已经是2012年底可以算2013年，市场还行（比现在好） ...

coding skill从和我们公司的DS交谈中了解到，要求还是比较高的。很多数据都是通过写程序做web scraping得来，非常多API call，接JSON、XML，再加regex这种。

而如果是那些做data产品的公司，比如sumologic那种，基本招的data scientist本身就是程序员，同时要数学和统计功底，会写程序implement各种ML算法。R这种内部分析用还行，作为产品不太可行。一点愚见。

heroxk

dogdogkun 发表于 2016-11-29 23:01
DS现在行情是起步价80-100k 高级的三年以上经验能有120-150k 再向上单纯靠技术好像比较难 ...

和我了解的差不多。

说实话，如果不管长远，只看眼前的话，这种薪资水平不太有吸引力，相对于DS比较长的学习曲线。而且我好像没有见到DS有contractor的。就拿我们公司来说，一般做web dev/mobile dev/fullstack dev的contractor，一天700-800算正常，比较senior一点的，1000以上也不少见，换工作跟玩似得。

所以在澳洲，搞DS一定要是真的喜欢，呵呵

Gaucho

heroxk 发表于 2016-11-30 17:51
和我了解的差不多。

说实话，如果不管长远，只看眼前的话，这种薪资水平不太有吸引力，相对于DS比较长的 ...

澳洲的DS工资真的很低。一个项目会议上，有来自SAS的MASTER学历的PRESALES CONSULTANT，外聘的本科学历的DEVELOPER CONTRACTOR，而薪酬最低的就是公司自己的清一色PHD的DS，不过工作压力倒是最小的。

bmatt

Tensoring打一歌手名字。。。

heroxk

bmatt 发表于 2016-11-30 19:24
Tensoring打一歌手名字。。。

张靓颖？

bmatt

heroxk 发表于 2016-11-30 16:27
张靓颖？

哈哈哈哈，正确

dogdogkun

heroxk 发表于 2016-11-30 17:51
和我了解的差不多。

说实话，如果不管长远，只看眼前的话，这种薪资水平不太有吸引力，相对于DS比较长的 ...

嗯 是这样的 赚钱还是比不上top码农 不过比上不足比下有余了:)

Gaucho

dogdogkun 发表于 2016-11-30 20:56
嗯 是这样的 赚钱还是比不上top码农 不过比上不足比下有余了:)

码农不需要去精通线性代数贝叶斯方法乃至偏微分方程，而DS必须要拥有码农的编程技术，所以即使往比下性价比也是不如中级码农的。

whoisit

Gaucho 发表于 2016-11-30 21:55
码农不需要去精通线性代数贝叶斯方法乃至偏微分方程，而DS必须要拥有码农的编程技术，所以即使往比下性价 ...

凸凹做data scientist性价比确实很差，难度比码农大得多，读的东西也多的多，工资反而差不多

Janet

dogdogkun 发表于 2016-11-29 23:25
一般DS用的统计，正牌做data mining/machine learning的phd也能掌握
灵活运用统计和设计idea确实是关键， ...

我是从Computer science 背景入行的，coding对我来说没有什么问题， 但是做DM有些统计上的东西解释起来还是有些吃力， 所以现在又把statistic 拿起来再学。

另外个人感觉从CS 入行的喜欢用Python, 从statistic 入行的喜欢R。

dogdogkun

Gaucho 发表于 2016-11-30 21:55
码农不需要去精通线性代数贝叶斯方法乃至偏微分方程，而DS必须要拥有码农的编程技术，所以即使往比下性价 ...

你说的这些东西其实一般DS真不一定精通，线性代数很多人可能就是能看懂，因为machine learning的方法还是需要一些线性代数，贝叶斯统计范围就大了，记得有一次我们公司的senior DS连贝叶斯公式都写错，偏微分方程做data mining基本不用吧，除非做金融quant。。。

码农高级的知识不比DS容易学，先不说算法和数据结构（大部分非CS背景的DS这方面都比较弱），系统架构，design pattern等等都需要经验的。DS的coding很多都是task-based，也就写写script language，而不是真的建一个产品，很多人估计连编译一个source package都不会。哪怕在美帝，大公司DS的package也比码农少一些的。土澳这方面应该更明显吧，因为码农都是出实打实的东西，你看看这边tradie也是体力劳动但银子花花的。。。

dogdogkun

Janet 发表于 2016-11-30 23:23
我是从Computer science 背景入行的，coding对我来说没有什么问题， 但是做DM有些统计上的东西解释起来还 ...

我之前用python，去公司之后用R，现在想转回python了。R的语法实在太ugly了，整个语言的设计是面向statistician不是面向程序员的，核心就是data frame，对其他数据结构支持很差。做一些快速的统计和模型还可以，复杂的功能真是只能呵呵了，除非外接C来用。比如我要做一个多重链表/网络结构去描述每个客户的transaction pattern（每个pattern不等长，下边又有子pattern），然后再做一些index以便快速的explore这个表，用R就很难实现。python简洁优雅，scikit-learn做machine learning也比R好用，一个顶N个R包，matplotlib作图也强大过ggplot（我始终感觉ggplot无法做到很细的customized）， R其实就也就data manipulation有些优势，不过用pandas其实也差不多可以完全替代了

dogdogkun

whoisit 发表于 2016-11-30 23:17
凸凹做data scientist性价比确实很差，难度比码农大得多，读的东西也多的多，工资反而差不多 ...

这样说的话，去学校当教授难度更大，性价比更差啊

Gaucho

dogdogkun 发表于 2016-12-1 00:59
这样说的话，去学校当教授难度更大，性价比更差啊

带博士生的教授本质上是一个方向上的自带ABN的公司老板，和打工的DS不是一个层次上的自由度。

heroxk

dogdogkun 发表于 2016-12-1 00:27
你说的这些东西其实一般DS真不一定精通，线性代数很多人可能就是能看懂，因为machine learning的方法还是 ...

澳洲的码农貌似不太需要算法，基本没见过面试时候问复杂算法的。design pattern，performance也没什么要求。算法好像只有google，amazon之类的面试才会涉及。

heroxk

dogdogkun 发表于 2016-12-1 00:46
我之前用python，去公司之后用R，现在想转回python了。R的语法实在太ugly了，整个语言的设计是面向statis ...

R的语法实在太ugly了，哈哈，同意。对那些非academic背景的，感觉就是噩梦。

我不在DS部门，不过之前帮组里人写了R的程序来分析syslog，做Anomaly detection。结果组里面人都不太喜欢，还是让用python搞。

Gaucho

dogdogkun 发表于 2016-12-1 00:27
你说的这些东西其实一般DS真不一定精通，线性代数很多人可能就是能看懂，因为machine learning的方法还是 ...

做最简单的LINEAR REGRESSION的最小二乘法算法就要用到偏微分方程，如果用更难的投影法要用到线性代数的转换矩阵。如果DS不懂这些，那他实质是个DA，因为他没有能力改进和创造算法，只能应用。GOOGLE上次在KAGGLE上悬赏一个能仅仅再提高10%预测准确率的推荐系统算法，最后的优胜者使用了矩阵论中的SVD技术加多层神经网络。SVD是很多PHD现在研究发论文的TOPIC。与之相比，面试需要考到算法和性能优化的码农职位薪水不会低于12万，CONTRACTOR更高，能达到SENIOR DS的薪酬范围，但投入的学习成本大概是DS的三分之一都不到。