data scientist

博闻

er1c 发表于 2017-5-25 09:34
各位说澳洲市场小, 请问小在哪儿?

澳洲不但市场小，而且需要的技术很单一。基本上就是商用数据分析那一点点东西。根本不需要创新，大部分职位不需要你懂算法，只要会用工具，会说就成了。

er1c

博闻 发表于 2017-5-25 16:28
澳洲不但市场小，而且需要的技术很单一。基本上就是商用数据分析那一点点东西。根本不需要创新，大部分职 ...

请问能具体展开说一说吗?
就目前我接触到的数据科学家基本大多是统计出身, 忽悠的功力比建模的功力强.

sche228

博闻 发表于 2017-5-25 14:28
澳洲不但市场小，而且需要的技术很单一。基本上就是商用数据分析那一点点东西。根本不需要创新，大部分职 ...

说的好

northwind79

是的，这边那些data scientist 工作就是挂羊头卖狗肉，实际做的从job description 一看就是跟名字不着边的，就是玩个时髦。

trevork86

这儿有Quantium 的人么

summersea3

谢谢lz的好贴！完全没有IT技术的会计，想做个懂技术的BA，请问在IT上应该学什么比较好啊 感觉IT的范畴也很广啊 十分感谢！

heroxk

DBOY123 发表于 2017-5-23 22:46
现在是个人都能做 predictive model, R 学一周，我们班50多岁没IT和统计背景的老太太都做出几个models.   ...

这个只能呵呵了。

Data science强调的是Data。举个例子，我们这一个模型，差不多1000行代码，但是950+行都是在处理数据，将各种维度的数据进行清洗整合，数据准备好后一行logistic regression搞定，说出来你可能都不相信。

稳定、易解释性比什么都重要。

前两天公司还花大价钱送我们去参加stakeholder management的training

cnnworld

heroxk 发表于 2017-5-27 18:53
这个只能呵呵了。

Data science强调的是Data。举个例子，我们这一个模型，差不多1000行代码，但是950+行 ...

用95%的代码来处理数据说明你们的数据量不大，应该这个模型的训练数据在50万条以下

数据处理部分很多时候是跟建模分开的，不过真心看什么公司和怎么样量级的数据了

heroxk

cnnworld 发表于 2017-5-27 19:18
用95%的代码来处理数据说明你们的数据量不大，应该这个模型的训练数据在50万条以下

数据处理部分很多时 ...

这个模型所需的数据量不是很大，维度也不是很高。整个公司的总体数据量和维度在澳洲算是比较前列的，行业就不说了，不过和中美的数据规模是不能比的。

原始数据的初步处理有专门的ETL团队，那个95%代码是做各种不同数据源之间的stitching。

DBOY123

heroxk 发表于 2017-5-27 23:27
这个模型所需的数据量不是很大，维度也不是很高。整个公司的总体数据量和维度在澳洲算是比较前列的，行业 ...

我说老太太建模型，前期工作由programmer 完成。

heroxk

DBOY123 发表于 2017-5-28 00:04
我说老太太建模型，前期工作由programmer 完成。

我的意思是，实际中的不少情况下，纯粹的模型部分就是套用一些稳定、成熟的方法，plug and play，反而没那么多花花。你的作业项目，可能让programmer一包到底也就完事了，没看出需要老太太的必要性。

另一方面，DS很重要一个技能是对商业的敏感度和沟通能力。建模是一个how的问题，而更重要的是why。

比如一个典型的面试问题，你觉得我们公司会出现哪些潜在问题，如果让你来改进，可以用什么Data science的方法？

实际中，stakeholder衡量方案好坏的标准是end to end的，优先级会放在business方面，比如turnover的变化，profit的变化等。模型方面的指标有时反而是次要的。

cri5182

高大上的职位名称啊

ivurs

trevork86 发表于 2017-5-26 21:19
这儿有Quantium 的人么

这个公司怎么样啊？ds工资能到多少

ivurs

cnnworld 发表于 2017-5-24 00:02
你这样说是不对的，是个人就能做个模型，你数据用excel打开，然后做个图，右击选择trend也是个回归模型

...

抛开预测目标，谈单维feature的处理，那不是耍流氓吗？

根据你的预测目标，这个城市可以一列可以是离散值也可以是连续值，离散值很简单，就是一个onehot编码就搞定了，主要是表征你是否存在于某个具体的geolocation，连续值则可以把城市与目标或者其他feature结合起来考虑，比如举个例子，改城市犯罪率，用来表征城市某个特征的信息，当然，虽然说是连续值，其实也可以简单点，作为一个离散的类别值，然后继续用onehot构造feature。

说的很简单，just 探讨一下

hiding

byronliuls

DBOY123 发表于 2017-5-28 00:04
我说老太太建模型，前期工作由programmer 完成。

您好，看到您之前读uts master of data analytics专业，能不能跟您请教个问题呢。我本科是文科专业，现在是转行学数据分析，毕业后回国工作。现在有uts 的master of it business information system。想问一下，master of da和master of it bis有什么区别呢？如果之后想从事互联网行业数据分析的话，选哪个比较合适呢？谢谢您。

韩苦禅

DBOY123 发表于 2017-5-23 22:46
现在是个人都能做 predictive model, R 学一周，我们班50多岁没IT和统计背景的老太太都做出几个models.   ...

无意中看到你的贴子。本人学过R，Finance PhD Candidate 背景，想找你们这个行业的公司，方便透露一下是什么行业吗，在SEEK上应该搜什么公司名字 或者 job title, 谢谢了