有没有做web/online analytics的筒子？我们银行招聘呢。

cais

这个工作看来已经招到人了。不是说要半年吗？

tvc889

cais 发表于 2014-6-7 22:06
这个工作看来已经招到人了。不是说要半年吗？

谁说的找到人了？

cnnworld

VulcanOnIce 发表于 2014-6-7 10:56
做市场的做不到对数据对it那么懂, 所以现在都取巧用工具来做, 只要原本做市场学会几种常见的软件, 或者懂 ...

最近大数据比较火，也因此创造了一个新的职位叫做data scientist. 事实上是IT和统计的综合体，就是要比统计的懂IT，要比IT的懂统计

在我看来，不出5年，可能需要另外个职位，叫做business scientist，要比MBA懂IT懂数据，要比IT数据工程师懂市场懂商业逻辑。

business sense 是非常重要的能力，大多数工程师缺乏这样的能力来表达，尤其在澳洲。而很多老大，因为不了解底层实现，在做决策的时候，往往也是非常被动的，有些很简单的功能，被他们认为是很复杂的，拖延了周期。

事实上，谁能做到三个原则： 快，简单，以及可大规模扩展。谁就掌握了市场的先机。 懂市场的人老说要做campaign，但他们设计的策略在做数据的人看来非常幼稚简单，有时很简单的做点个性化campaign就能解决做市场的人的大问题，因为做市场的人总需要回答1. 钱怎么分配 2.效果怎样。

你这份职位虽然我没兴趣，但我到有兴趣了解下你们的做法，我们可以探讨下，我估计你们就是基于customer做些个性化分析，然后做些target campaign，现在有几个问题

1. 你认为懂GA怎样才会懂？ 他会自己写query 脚本，然后通过api自动化下载GA数据么？

2. 他能将海量的log数据，上传到aws，通过EMR做日志分析么？ 这样就可以取得某个产品级别的浏览点击数据？

3. 他会通过现有的数据，对每个customer提炼出合适的feature么？包括类似购买周期，行为偏好等么？

4. 他能利用现有的campaign结果，比如customer是否click了你们的promotion email，通过分类算法，做数据挖掘实践么？


在我看来，能满足以上4点的，可能才是你们的目标candidate

cais

tvc889 发表于 2014-6-8 00:18
谁说的找到人了？

seek上面的广告都撤了啊。没找到人怎么就撤了呢？

VulcanOnIce

cnnworld 发表于 2014-6-8 21:41
最近大数据比较火，也因此创造了一个新的职位叫做data scientist. 事实上是IT和统计的综合体，就是要比统 ...

晕，你讲的这些我都不懂啊。

我本身只是做市场的，因为现在也要求做online marketing了，只能现学现卖，学点 google analytics的，adwords  key words自己瞎搞搞，发出去bulk mail里会有各个产品的链接吧，算算点击率，看看客户感兴趣的是哪些。。。至于具体你讲的买卖周期 行为偏好，我们是完全没概念的。我做的这个行业基本还是靠networking的，基本还是走传统媒体的，客户的规律基本是他们认准的牌子和价位，只要知道我们周围几家的价格范围，同类产品我们基本不会失算。

高深的SEO还是外发给专业公司做啦。

whocares2014

cnnworld 发表于 2014-6-8 21:41
最近大数据比较火，也因此创造了一个新的职位叫做data scientist. 事实上是IT和统计的综合体，就是要比统 ...

看了你这贴我顿悟了。

难怪data warehousing is dying, 实时性不够。一个项目半年能上线就不错了，一般起码搞个一两年。等管理层看见所谓的决策报表，黄花菜都凉了。


这种，其实做DWH的脑子灵活点能成，天，看你们灌水，我又想出来一个职业发展前景。

我老板回头再抱怨我上班上网，我可有材料反驳了。

cnnworld

VulcanOnIce 发表于 2014-6-8 22:26
晕，你讲的这些我都不懂啊。

我本身只是做市场的，因为现在也要求做online marketing了，只能现学现卖， ...

通过历史上2年的交易数据，你是可以把客户分层的，有些是回头客，有些是新客，有些可能已经要离开了，有些可能已经离开了，对每个客户做好区分后，这个其实很简单，我们叫做客户分层

客户分层结束后，他们会体现不同的行为，有些客户比较喜欢电子产品，有些客户喜欢母婴的，通过他们的历史交易记录，比如她一共购买过5次产品，有3次都是电子类产品，我们可以简单认为他偏好电子产品，我们也可以通过他的购买时间，来算出他的平均购买周期，最后，你能产出一张数据表，第一列是客户ID，后面是客户的特征值，比如购买周期，最长购买市场，偏好品牌，偏好类目，如果你有用户行为数据，比如用户的点击数据，那就更准确了。因此对于比较衷心的顾客，我们不要用很多email轰炸他们，相反，有些顾客可能沉寂一段时间了，于是你需要吸引他过来，也许给点好处啥的，然后你又要评价你的好处是否够吸引他们，需要做AB test，这样才能让你每分钱都花的值

然后通过这些，来发email，email是千人千面的，IT在程序逻辑里面按照你的数据来发email，比如喜欢电子产品的，就把最hot的电子产品推送给他们。你现在的方式是把所有客户当成一个群体，你要知道，即使同一样产品，也是有人喜欢有人不喜欢的，而你把这样一件产品，发给了很多人。整件事其实挺简单的，你在墨尔本的话我可以和你交流交流。但需要做起来还是花点精力的。

这种玩法在国内主流的互联网公司都是这么玩的，美国玩的更熟练了，澳洲坦白说不多，跟技术，跟人才缺乏都有相关

楼主要招所谓的log analyst啥的，本质就是希望从web log中找到每个用户的行为数据，并把这些数据转变成商业决策，举例，通过日志发现用户大量点击一个产品，但是销量却很少，这里面就有很大的问题，因为这个产品浪费了流量，如果没有点击数据，你们只看到这个产品的销量很差，即使它吸引了大量流量

你听我以上说的很复杂，懂数据懂IT的人，这些做起来其实挺容易的，所以我说你是做市场的，但却并不了解技术是怎样的，导致有脱节，其实一个公司，需要一个人三方面都懂，这样的人，在互联网公司，叫做大PD，就是最大的产品经理。微信的总裁张小龙就是微信最大的产品经理。


举我上面的例子，如果IT能跑脚本，每天更新用户的数据，然后通过用户的个性化指标，来做email等推荐，一切都变成自动化，而做市场的人，只要设计本次campaign的目标就好了，这就是个数据化产品。


你要知道，在阿里巴巴，甚至已经实现了反向招商，简单而言，就是根据消费者的需求（包括点击日志等），来推断出未来哪些产品比较好卖，然后再去找商家要商品，然后卖爆，这些，都是基于海量数据下的数据挖掘实践。

技术的力量很强的，如果懂得如何去把握的话

cnnworld

技术的伟大之处是要把所有人干掉，互联网作为新的生产力，必然会让大量的人失业，商业离不开人的参与，但大数据，逐渐可以淘汰部分市场人员，因为市场人员有自己太多主观判断，如果通过数据来分析产品，自动化所有的推荐email推广等，很多市场人员会失业，举个简单的例子，以前一个市场人员需要从100个产品中选择3个产品作为本次主打，利用大数据，一个市场人员只需要从10个产品中选择3个产品作为本次主打，靠的是什么？ 靠群体性的搜索点击，热点，这些都是数据可以自动提供的。

未来，不是不需要人，还是需要人的，只是，互联网会干掉很大一部分人的职业，传统也会变得不传统了，如果互联网企业没有大数据精神，坦白说，也离死亡不久了。

看看马云，已经不说自己是电商公司了，说自己是大数据公司，看看Google，amazon，无一不是，现在的公司其实都是立于数据上的，只可惜，我看到特别重视数据的公司真的很少，在澳洲，很多公司都连存储海量数据都非常困难，对消费者的研究更是少之又少。

tvc889

cnnworld 发表于 2014-6-8 23:13
技术的伟大之处是要把所有人干掉，互联网作为新的生产力，必然会让大量的人失业，商业离不开人的参与，但 ...

谢谢精彩回复。

tvc889

cais 发表于 2014-6-8 21:43
seek上面的广告都撤了啊。没找到人怎么就撤了呢？

面试后还没决定。

VulcanOnIce

cnnworld 发表于 2014-6-8 23:01
通过历史上2年的交易数据，你是可以把客户分层的，有些是回头客，有些是新客，有些可能已经要离开了，有 ...

我外发的bulk mail    newsletter都是划分客户群的，针对不同群有不同的促销和产品推广，但保证每个客户每月收到的newsletter不超过2封。

我们的行业（酒店 餐饮）还是有它的特殊性，很多客户现在依旧更相信传真 电话来订货，来问价钱和货运的优惠，很多客户更相信传统媒体比如杂志。

每个行业的推广策略还是不同，虽然我完全相信那些大型互联网销售一定花了大力气分析数据和决定产品定位和策略，但是很多特殊行业光靠数据定位肯定是不行的，否则PR可以在这个世界消失了，完全由你们这些懂数据分析的代替好了。具体还是一个form follows fuction, or form follows fun的问题。

cnnworld

VulcanOnIce 发表于 2014-6-8 23:35
我外发的bulk mail    newsletter都是划分客户群的，针对不同群有不同的促销和产品推广，但保证每个客户 ...

是的，其实技术的最终目标是干掉人，但是有前提的，前提是你真的拥有了足够的数据，就好比人脑思考一样，最近很火的deep learning，本质就是模拟人的思考方式来使用数据，这个领域的专家全球就50人左右，google甚至可以开到50万美金的年薪来招这样的人。


在我们目前的阶段，更多是利用数据增加效率，大多数市场人员更像account manager，可能会管理几个类目，几类产品，但前提是你的公司没有大规模发展，如果今天你的产品目录是1万个，明年变成了10万个，通过堆人是无法实现公司目标的，这个时候，我们往往依赖数据，就比如刚才说的，原来1个人要从100个产品中选本期主打，而现在只需要通过10个产品来选本期主打。


对数据的利用往往跟公司规模有关，但事实上，在国内，很多4-5人的天猫店，都非常重视数据，都会通过第三方软件去购买同行或者同市场的数据，比如做服饰的，想知道最近流行日韩风还是田园的，是短袖好卖还是裙子，我觉得，这个是整个行业共通的，无论公司多大多小，都是需要去了解消费者需求的，都是需要去了解产品特性的，做市场，无非就是把消费者和产品链接起来，这个connection的logic是什么？ 你可以通过自己的商业判断来链接，但更科学的方法无疑是数据。

总之，如果僵化的认为公司今年和明年不会有太大变化，囿于传统方法并没什么错，当你想象的是明年公司的业绩是今年的一倍，再按传统的方式来思考业务，就显得不足了

商业的本质都是相通的，就是用合理的逻辑去连接消费者和商品，现在所谓的消费者分析都是群体分析，个性化是必然之路，如果你的公司希望明年的业绩有可能是今年的1倍的话，甚至不用说一倍，希望明年的业绩不比今年差的话。

当然，我只针对目前的互联网企业，至于传统企业，在互联网时代，确实需要思考，一个人一周可能一次踏入你的店，但一个人，24小时有12个小时会带着手机，一天会开好几次APP，抓不住移动时代，抓不住互联网时代，传统行业的消失只会加剧。比如国内的李宁，都快倒闭了，去年的nike等运动品牌也大量压货，为什么？整条链路太慢，还囿于曾经的订货会-新品发布-上新品，所谓的新品也根本不了解真实的消费者需要。


说了这么多，觉得这个话题我刚好有兴趣，我其实想强调的是，互联网是一种新的生产力，需要重视

whocares2014

cnnworld 发表于 2014-6-8 23:01
通过历史上2年的交易数据，你是可以把客户分层的，有些是回头客，有些是新客，有些可能已经要离开了，有 ...

感觉像，dwh的网商运用啊。

改头换面下，其实把log导入数据库，然后改用结合网商业务的etl, 出报表，还是差不多的。

失眠的羊羊

whocares2014 发表于 2014-6-9 22:46
感觉像，dwh的网商运用啊。

改头换面下，其实把log导入数据库，然后改用结合网商业务的etl, 出报表，还 ...

还是不一样，log不是structure的，用nosql load+query比较方便。 具体的segmentation需要的是data mining和那些统计模型和优化模型然后走campaign engine到channel。DW这边还是关系数据库MPP+ETL，BI的报表基于简单的de-normalised data model 听上去差不多的事情实现起来却是不一样的路数。

yangchadui

失眠的羊羊 发表于 2014-9-7 00:56
还是不一样，log不是structure的，用nosql load+query比较方便。 具体的segmentation需要的是data mining ...

campaign engine 是啥？

whoisit

请教大家下，从事这行是学统计好还是学计算机好

zzz

cnnworld 发表于 2014-6-7 03:13
这是个比较综合的职位，本质上就是个数据产品经理，需要懂it，也需要懂市场。

不懂it很难设计出合适的数据 ...

It4年,统计要学高数什么的至少也得全职两年,金融另一个行业也得全职学2年, 数据做4年这得学多少啊。按着这个比医生都难一倍,如果才10来万确实不高。

michellemm

cnnworld 发表于 2014-6-9 00:51
是的，其实技术的最终目标是干掉人，但是有前提的，前提是你真的拥有了足够的数据，就好比人脑思考一样 ...

谢谢精彩回复。

zzz

cnnworld 发表于 2014-6-9 00:01
通过历史上2年的交易数据，你是可以把客户分层的，有些是回头客，有些是新客，有些可能已经要离开了，有 ...

澳洲人保守,吃一样东西几十年不变,用一个牌子几十年如一,你变了他就不买了。门口买面包的跟我说,她都不用问客人要啥sandwich,几年如一日就那一种,不许改。你对这样人都不用数据研究,这会不会就是你说的澳洲这方面落后的原因。问题是数据研究出来也不准。影响因素太多了。比如我买电器,买全了我就不买了,你接下来几年你给我发一万份我也不买了,如果你发现我买的都是一种牌子结果有一次坏了我打算一辈子都不买这牌子,你又给我发了一万份, 全在垃圾桶。而你终于发现了原因,补充到数据里,好几年过去了你又不知道新发生了什么。

cnnworld

zzz 发表于 2016-2-9 15:36
澳洲人保守,吃一样东西几十年不变,用一个牌子几十年如一,你变了他就不买了。门口买面包的跟我说,她都不用 ...

跟国家没有关系，数据研究的是人的行为，只是不同场景下研究的东西也不同

举个例子，你如果经常在facebook发文，比如今天去玩啥了，干嘛了，这就是个观察状态，而天气可能是个隐含状态，构建一个马尔可夫链可以做个预测模型，对天气的预测。而你却没想到你的po文的行为会被人用到天气预测上。有些行为也可以用来预测一些经济状态等

我只是举了这么个问题，一个人最无意的行为，在你看来毫无用处，在数据应用者看来特别有用，因为数据是真实的。就比如你说吃这点，一直吃一个牌子一样东西，这对我来说就有很大作用：

1. 通过你买的这个牌子的东西，我大致知道你的生活品味
2. 通过你买这个牌子的地点，我大致知道你所处的位置
3. 通过你买这个东西的时间（双休日还是平时），我大致知道你是否工作
4. 通过你买这个东西的频率，我大致能能研究出你的生活规律，或者是男是女

。。。。

事实上，很多数据研究者并不是为了得到一个确定的结论，比如通过你吃什么，我猜你是男是女，这是个一个概率，但当一个数据拿出来，其准确性大于一个随机猜测的值，数据就有其价值和意义。

同样的，对于那种固定买某个商品的人，我如果有数据，和那些没数据的，对待这样的人，我的方法总是比没数据的多，也许我的方法未必奏效，但如果有10000个这样的客人，我的方法平均总是比那种随机去猜人家的想法的，更有效些（前提是其他因素保持一致）

Robin NSW

银行网站用GA挺可怕的

cnnworld

zzz 发表于 2016-2-9 15:36
澳洲人保守,吃一样东西几十年不变,用一个牌子几十年如一,你变了他就不买了。门口买面包的跟我说,她都不用 ...

另外买电器买全了不买就正好符合数据工作者的预期

跟你谈下淘宝的算法吧，淘宝，当你买了电器等大件后，它的推荐列表中不会再出现大件电器了，而是出现一些小家电，或者一些其他小类目的，因为它知道你不会再花大件的钱了，这时候，当你完成购买后，你就从一个严肃的买家，可能变成了一个闲逛者，这个时候算法是防止你跳转，就会努力呈现多元，有趣好玩的东西给你，当你点进去一些后，算法实时分析你的浏览路径，发现你一直又开始逛服饰相关的，于是就会有推荐你服饰相关的，然后努力让你完成成交

你真实的反应其实是数据工作者最需要的东西

gegedan

这帖子强人不少，以后比的就是运用数学的能力。现在做数据分析的越来越吃香

tvc889

cnnworld 发表于 2016-2-9 16:18
跟国家没有关系，数据研究的是人的行为，只是不同场景下研究的东西也不同

举个例子，你如果经常在facebo ...

谢谢分享。

tvc889

Robin NSW 发表于 2016-2-9 16:20
银行网站用GA挺可怕的

GA没什么可怕的。如果GA不安全，那Google早就完了。

RodTemperton

cnnworld 发表于 2014-6-7 03:13
这是个比较综合的职位，本质上就是个数据产品经理，需要懂it，也需要懂市场。

不懂it很难设计出合适的数据 ...

大神请教下，做data scientist需要学习到实分析,测度论，时间序列这样的高级课程吗？还是基本的概率，数理统计，回归分析就够用了(最基本的微积分，线性代数就不提了)？

cnnworld

RodTemperton 发表于 2016-2-9 23:14
大神请教下，做data scientist需要学习到实分析,测度论，时间序列这样的高级课程吗？还是基本的概率，数 ...

澳洲职场和中国职场不同，简单的说，澳洲职场对技术要求更小，对沟通，商业分析等比例更高，也因为这个原因，澳洲职场虽然大数据技术无论是规模还是技术点都不如中国，但一个合格的中国数据人员来澳洲，依然不容易找到工作，因为其沟通和business sense方面，不如澳洲本土出身的


在中国，一个合格的数据科学家，现在已经越来越朝着全栈工程师发展了，一旦你对所有的流程都比较熟悉，你可以说是个全栈工程师，也可以把自己定义到一个CTO的级别，因为你拿的工资，是可以和各个总监或者CTO级别的人差不多的。

在中国，一个合格的数据科学家，年薪百万是常态，一般大型企业大致也有70-80万年薪，有些企业愿意付出些premium，年薪超百万也是常有的事，不仅是BAT，很多拿到投资的互联网公司，也都有这些需求。

因此，从全栈的角度考虑，我上面说的都是技术点，具体来说，你需要做以下几点并可以负责以下几点的实施


1. 寻找商业机会，分析业务场景，并结合现有数据。 这本质是个产品经理和数据PD的活，你需要懂这块，一个模型的产生，这个步骤是关键的。要找到商业机会和理解业务场景，需要在一个公司或者行业比较深的积累，这是工作经验带给你的最重要的部分

2. 技术上，你需要理解数据挖掘的几个基本理论，这包括，supervised和unsupervised learning，这里面的算法很多，简单的理解很简单，但如果需要深入，你是否有能力回答很多细节？比如输入变量的处理，PCA和LDA转化之间的区别，甚至，KMEAN的优缺点，能回答这些细节的前提是对理论有很深的理解。 技术上还需要懂一些非结构化数据的处理，包括NLP问题，甚至目前谷歌的deep learning，以及图像处理方法。这些不需要你有很深的技术背景，但你需要对开源的一些框架很熟悉


技术上一个是理论，一个就是工具了，工具方面，你需要懂R,Python，理解hadoop，Spark是目前一个趋势，上面四个模块也需要理解，各种云如AWS,salesforce，谷歌big query等，还有无数的开源工具，docker之类的，工具掌握的越多，你离全栈越接近，因为全栈的含义不是你花时间做了个什么，而是你能评估技术方案，可以把一个想法从前端实施到后端，全栈的要求其实是个架构师的要求，这也是你能拿到这份工资的原因

以上就是在中国做一个高薪的数据科学家的基本要求，这需要参与者有高度的好奇心，以及每天学习的动力，如果对这个行业没有兴趣，那肯定很难做好，开源社区每天都有不同的变化，理论技术也是日新月异，需要时常保持好奇心

如果只是想做个混日子的数据工作人员，你只要会sql和excel，沟通能力够基本ok了。

如果你从零开始，我建议:

1. 学好数据挖掘的几个理论先
2. 掌握Python或R中的一门，最好到精通级别

RodTemperton

cnnworld 发表于 2016-2-10 10:45
澳洲职场和中国职场不同，简单的说，澳洲职场对技术要求更小，对沟通，商业分析等比例更高，也因为这个 ...

谢谢指点。我现在快读完IT本科，您觉得硕士是读cs好还是statistics好呢，感觉按照您的描述和这个帖子工作的描述，statistics好像用处不大呢

cnnworld

RodTemperton 发表于 2016-2-10 12:34
谢谢指点。我现在快读完IT本科，您觉得硕士是读cs好还是statistics好呢，感觉按照您的描述和这个帖子工作 ...

不学统计，

1，工具上你很难理解一些输出，你跑个r程序，里面的参数和输出值你很难理解，你也可以去google，但你会发现你不知道的东西越来越多，这些都需要数理基础。你做分析，跑ab test，你得明白ab test是啥，这些都有统计学意义，因此没统计基础很难

2，你学习算法，没统计基础你很难看懂，举个简单例子，讲贝叶斯分类的时候，为啥假设数值变量需要符合正太分布？为啥需要是独立变量？这些基础都和统计相关

最优秀的数据科学家首先需要一个优秀的程序员，因为现在的开源平台，都是依赖类似scala，java，python之类的，需要熟悉函数式编程，懂oo，以及一些模式设计的东西

其次是精通模型理论，模型都是些机器学习模型，里面有很多模型的细节和数据处理的技巧，比如类别变量如何处理，共线性问题，降唯等


再次，就是懂行业业务，这个就是各行各业都有区别了，电商有电商规律，金融有金融特点

所以学习数据的过程就好比在练级，好奇心很重要，学校阶段好好学理论，努力看phd的paper，这样新技术来的时候你就能快速学习了。因为工作中，往往需要你两天验证一个新方案，你也许需要看一本三百页的英文书，快速找到重点

cloud226

cnnworld 发表于 2016-2-10 16:07
不学统计，

1，工具上你很难理解一些输出，你跑个r程序，里面的参数和输出值你很难理解，你也可以去goog ...

现在很多学校都开通了Data Science这个课程
USYD http://sydney.edu.au/courses/master-of-data-science
UNSW http://www.handbook.unsw.edu.au/ ... 016/COMPSS8543.html


相对统计来说好像对于数学的要求低一点 更多得是IT和数学的结合 请问你觉得这些课程如何？