群里有做 data scientist的吗？

hmzha2

cnnworld 发表于 2015-4-29 00:27
Telstra 一般ds工资是12万 base，SR的是15万，供参考

这个职业没那么高大上，国内发展更好点，一般是50 ...

你的意思是带另一个团队来开发一个用在互联网方面的产品 。我理解的对吗？

那这个和data scientist有什么关系呢？

cnnworld

hmzha2 发表于 2015-4-29 09:48
你的意思是带另一个团队来开发一个用在互联网方面的产品 。我理解的对吗？

那这个和data scientist有什 ...

不好意思可能是我的回复让大家迷糊了，我文中涉及到的工作内容，是比较全面的内容，实际在工作中是有侧重的，这种侧重随着不同的公司也是不同的，集中的来看，大公司，比较侧重算法应用，举个例子，当你线上在不同渠道投放广告后，每个渠道的ROI如何计算就是个问题，里面可能涉及不同的计算模型，比如last-click，这些模型有些是基于用户行为的研究，有些就是直接做了一定的假设，DS的工作之一就是设计怎样的算法来让这种计算更合理，这是大部分大公司需要做的事情


但有时DS做的事情也很杂，基本也会做data analyst的事，只不过比analyst需要多的技能就是编程技能，analyst很多都是会excel以及简单sql，测试方法很多只会AB test，ds由于是计算机背景或者统计背景，可以提供更多更科学的统计学方法

因此，你很难完全定义ds到底做了些啥，在我看来就是analyst的升级版，只不过，多了些编程，以及建模的工作。

但任何做数据的，其核心目标都是最后成为优秀的产品经理，因此做数据的面向对象很广，一个DS，也许过几年就变成了某个公司的数据运营官，或者数据产品经理，也可以成为digital marketing manager，从一个商业模型来看，在IT里面做数据的，离业务相对较远，ds离业务相对更近点

举个linkedin高级数据总监的例子，他之前是做ba的，后来做的是ds，再后来成为了高级经理，再慢慢升职到了高级数据总监，现在创业成为了ceo， 互联网社会的运营，本质上基于数据的运营， 澳洲一般比中国落后3-4年，因此，我认为这个行业如果在澳洲，估计还要3年左右才能井喷，很简单， 普通技能的人会逐渐被淘汰，用什么淘汰？数据。

再举个例子，传统的电商，运营人员往往基于自己的主观判断来选货，而国内的一线电商，产品是海量的，人工选货会有极大的不客观性（比如行贿行为），基于消费者偏好的研究，季节性的研究，从海量商品中精选出产品让运营来选货，这里面就涉及大量的数据整合和计算过程（如何计算产品的季节性，消费者偏好等），最后会导致很多普通的运营小二工作量下降，如果完全按照人来做，需要100人，根据数据算法来做，只需要30人，这里面的工作，就有ds的功劳在里面，ds会花80%的时间来整合数据（其实这更像是IT的数据整合工作），然后选择合适的业务变量（这需要了解业务规则，需要沟通交流），然后再花10%的时间运用算法，通常一个模型的大部分时间还是在数据的整理上，算法很多都是一些软件包既有的程序，不需要你实打实的写个啥具体程序来实现。

数据的核心任务是增加效率，尤其在互联网这个行业，澳洲的互联网尤其移动互联网发展还很慢，但趋势还是明显的，不过做大数据，澳洲2000万人口还是不够的，所以要在这个国家做大数据，还是不容乐观的，有机会，但机会相对中美，还是缺乏不少。

sepaton

我也正在朝這個方向走，IT確實難做，不可能一輩子在底層游離啊。希望樓主和大俠們多多交流

hmzha2

cnnworld 发表于 2015-4-29 10:17
不好意思可能是我的回复让大家迷糊了，我文中涉及到的工作内容，是比较全面的内容，实际在工作中是有侧 ...

啊，这下清楚了！

hmzha2

cnnworld 发表于 2015-4-29 10:17
不好意思可能是我的回复让大家迷糊了，我文中涉及到的工作内容，是比较全面的内容，实际在工作中是有侧 ...

能介绍下在澳洲哪些医疗公司有做大数据的嘛？他们的data scientist主要是分析什么？

我见过的分析（主要是科研方面）是评定医院的效率，病人的恢复和药剂公司的分析。似乎药剂公司对于分析比较看中，但是没有啥具体的客户和business的需要，因为主要是内部使用。

我的理解是这样的公司的搞分析的可能发展前景没有直接面客户的前景好，毕竟客户离钱近。

churq

我不想打击大家，我觉得工资好低啊，我也想走这方面，因为非常喜欢数学，但是觉得心理非常不平衡。
一个plumber一年都挣20几万

churq

我认识一个 quant developer, 他年薪15万+，为什么ds最多才15万啊，我觉得都是很用脑容量得工作啊

juliohe

cnnworld 发表于 2015-4-29 10:17
不好意思可能是我的回复让大家迷糊了，我文中涉及到的工作内容，是比较全面的内容，实际在工作中是有侧 ...

分析得很深刻。我最近也打算话几年时间慢慢入行。我是IT背景，编程不算是特别强，只是能做。拼了。谢谢你给大家讲解的这么详细。我也是看到美国的要求非常非常高，怎么在Seek上很多职位描述很low的。土澳确实落后很多年。

johnluo721

churq 发表于 2015-4-29 16:25
我认识一个 quant developer, 他年薪15万+，为什么ds最多才15万啊，我觉得都是很用脑容量得工作啊 ...

我和你想法差不多，随便什么领域，跟领导混到中层小干部，15万也不难。这个投入太大了

limit-2010

cnnworld 发表于 2015-4-29 10:17
不好意思可能是我的回复让大家迷糊了，我文中涉及到的工作内容，是比较全面的内容，实际在工作中是有侧 ...

這個專業和 ds 是相關的嗎  ？
http://www.handbook.unsw.edu.au/ ... 015/COMPSS8543.html

請問一下下面這些課程哪些會更有用一些？




謝謝了

cnnworld

以上每门课都还挺实用的

只是这些学完还是比较理论的，最核心的编程经验没有，做DS不会写代码是不行的，比如R, 比如Python，这些都需要实际经验的

另外，SQL部分涉及不多，但其他理论知识，以上学完就不错了，只不过学完你未必能串起来，其实很多topic最后在讲的事，可能是同一件。 比如讲数据分类，支持向量机可能是一种讲法，回归分类是一种，逻辑回归分类也是一种，这三种貌似是不一样的，其实数学上说到最后其实是一回事，在某些情形下可以互相转化，类似这种深度的理解，需要每门课都学的足够深才行。

总之，我也没到达那种境界，只是有时在想爱因斯坦为何追求统一场论，那种心情，其实跟我理解数据是一样的心情，因为总总觉得商业，数据，决策在冥冥中都是一种东西，数据里面的各种算法理论，冥冥中也有那么多的共性和理解。

所以我每天都继续看书，这个行业学无止境，另外中国的工资平均比澳洲高1.2-2倍左右。

churq

工科里的信号处理就是数据处理，算法和商科虽然不一样，但是我们的算法也一大堆，很复杂的，可惜工科在澳洲木有钱途

Gaucho

churq 发表于 2015-4-29 16:25
我认识一个 quant developer, 他年薪15万+，为什么ds最多才15万啊，我觉得都是很用脑容量得工作啊 ...

DS在数学上的难度还是比QA小一些，那些模型的复杂度远超过商业智能。

hmzha2

Gaucho 发表于 2015-5-1 23:20
DS在数学上的难度还是比QA小一些，那些模型的复杂度远超过商业智能。

我觉得quants的难度可能还比较更大。以前面试一个银行的时候，他们不光对建模有要求，对编程语言的数据结构和算法速度也有很高的要求。

martincc2013

cnnworld 发表于 2015-4-29 10:17
不好意思可能是我的回复让大家迷糊了，我文中涉及到的工作内容，是比较全面的内容，实际在工作中是有侧 ...

谢谢分享 我title是data analyst ，股票管理公司，自己hounors 时读的是data mining 的论文，可都用不上，真想多学点这方面的经验，尤其最近工作内容越来越来不靠谱，部门restruture 都快变成data support 了
没多少analysis，

martincc2013

cnnworld 发表于 2015-5-1 17:36
以上每门课都还挺实用的

只是这些学完还是比较理论的，最核心的编程经验没有，做DS不会写代码是不行的，比 ...

能推荐点书 吗？

juliez

这个职位挺有意思的。BA要是转这个，应该怎样入门？

Bessy

martincc2013 发表于 2015-5-2 20:55
能推荐点书 吗？

个人推荐
Data Science for Business: What you need to know about data mining and data-analytic thinking
http://www.amazon.com/Data-Scien ... nking/dp/1449361323

Advanced Analytics with Spark: Patterns for Learning from Data at Scale
http://www.amazon.com/Advanced-A ... &keywords=spark

Hadoop in Practice
http://www.amazon.com/Hadoop-Pra ... tice+second+edition

cnnworld

churq 发表于 2015-4-29 16:25
我认识一个 quant developer, 他年薪15万+，为什么ds最多才15万啊，我觉得都是很用脑容量得工作啊 ...

quant是it程序员，在美国quant有些比总监拿的还多，最鼎盛的时候有quant拿到60万美金的

因为其从事的是金融里面最赚钱的部分，但35岁后这个职业会有风险，因为依然是青春饭

事实上两者不是一回事，金融模型和用户行为，互联网上的模型也不是一回事

churq

你说的是quant developer 吧，quant 好像是建模，不怎么写程序，对吧？

hmzha2

churq 发表于 2015-5-3 07:12
你说的是quant developer 吧，quant 好像是建模，不怎么写程序，对吧？

我面试的时候，问了如何实现二叉数和复杂度

muqinglan

cnnworld 发表于 2015-4-28 23:02
我是这个title，说几点这个职位的要求把

1. 这个职位并不高深，在美国一般是计算机或者统计系的PHD，大公 ...

谢谢分享：）

kaixin123

cnnworld 发表于 2015-5-3 01:43
quant是it程序员，在美国quant有些比总监拿的还多，最鼎盛的时候有quant拿到60万美金的

因为其从事的是 ...

感谢分享

ggt20

编程序的能转成DS吗？

dogdogkun

cnnworld 发表于 2015-5-1 17:36
以上每门课都还挺实用的

只是这些学完还是比较理论的，最核心的编程经验没有，做DS不会写代码是不行的，比 ...

兄弟可以私信聊一下关于data scientist这个行业吗？我想往这个方向转，但发现澳洲从事这行的人好少，不知道从何入手

Gaucho

hmzha2 发表于 2015-5-2 08:00
我觉得quants的难度可能还比较更大。以前面试一个银行的时候，他们不光对建模有要求，对编程语言的数据结 ...

DS的模型是黑箱统计模型，QA的模型是精确分析模型，它们之间的分别，如同天文学上开普勒利用大量观测数据回归分析出行星三大运动定律和牛顿直接从力学三定律推导出万有引力公式一样，后者的难度和精确度不是前者可比的，且后者可以完美推导出前者。

kevinanna_2003

牛人们啊，顶

shareddesk

顶一下

gzrain

cnnworld 发表于 2015-5-1 17:36
以上每门课都还挺实用的

只是这些学完还是比较理论的，最核心的编程经验没有，做DS不会写代码是不行的，比 ...

我做了几年码农，有点考虑长远职业规划是否应该找一些附加价值高一点的；做dev要学东西我不介意，本质就是培养自己的学习能力；但一直看到新东西井喷，r热点更换好快, 心里安全感有点没底。


我去读了一个coursera的R promgramming的online course，因为有编程基础前面的都很轻松，后面稍一些数学/统计方面的function就有点吃力了，不是不懂syntax，而是不知道这东西拿来干嘛用的；不过数据处理的确有点意思，我如果要熟练掌握R的话，难点不在编程，而是数学；


希望能能在这方面的几位业内同学能多交流一下，学习学习

cnnworld

gzrain 发表于 2015-6-29 02:30
我做了几年码农，有点考虑长远职业规划是否应该找一些附加价值高一点的；做dev要学东西我不介意，本质就 ...

会R编程不难，但背后输出的数据含义，要弄懂就要有数理知识

举个例子，做个线性模型，输出会有每个参数的P值，这个P值什么含义？ 背后的道理是什么，对这个线性模型非常重要，如果一个参数估计不显著，你某种意义上是可以drop掉的

另外做线性模型，你又要考虑怎么做？什么样的数据可以做，要不要标准化，某种意义上说，R只是个工具，或者说，是个计算器，但你得懂计算器输出的值的含义，这是对很多人转行的难点

建议： 任何一种转行，没有3年的积累，想多快好省的进行，是不现实的，如果真心打算转行，至少去读个统计类学位吧，任何改变，都是需要有一定的付出的