数据基础普及贴

Qubix123

静好如初

LZ是大牛，赞！

czbbobo

iami_returns

sql 很简单，难的是统计，那东西不好搞

leeroyjenkins

好帖

Gaucho

iami_returns 发表于 2016-4-23 08:39
sql 很简单，难的是统计，那东西不好搞

SQL不好与统计学并列吧，就好像数数不能和代数并列一样。

iami_returns

Gaucho 发表于 2016-4-23 15:19
SQL不好与统计学并列吧，就好像数数不能和代数并列一样。

废话，我说国它们两个是同类东西么？

shusu0918

LZ好帖，先mark，再好好研究

zyx_zhang

LZ说的很有一些道理，应该是具体做过项目的人。

个人一点看法，Excel 可以有着非常复杂的能力， VBA， Excel加上数据库，可以做出非常有用的系统。看看westpac的贷款经理怎么工作就知道了。

SQL入门容易，然而也是不容易精通的，能否写出高效、实用的SQL，也是决定你薪水高低的一个关键因素。

heroxk

好文，期待已久

heroxk

请教一下楼主，目前澳洲也就对data scientist的需求怎么样，属于位置较多招人比较难，还是僧多粥少？业界对没有经验的新手接受程度怎么样？

三菱aidem

Mark

scfktina

有什么具体的书或网站推荐吗？ 我刚开始自学一点简单的SQL，为了方便工作。谢谢

dogdogkun

楼主的贴子说得非常好！我最近半年从学术界转到公司做data scientist，体会最深的就是SQL+excel是最有用的工具，足以应付大部分的日常工作。

另外再分享一些我自己的经验。一个数据分析的项目大体上可以分成（1）项目设计 （2）数据收集和整理 （3） 建模 （4）分析整理结果 （5）presentation。在我们公司，data analyst (DA) 主要是做 (2)，而data scientist (DS) 则参与全部流程。

一般人认为（3）是技术含量和对数学要求最高的。理论上是这样，但很可惜，大多数情况下，其实（3）所占的比例是相当小甚至可以没有。大部分的所谓建模其实也就用一些现成的黑盒模型，真正做深度调参，根据数据特征build一个全新的模型，或者做大规模machine learning比对不同algorithm去improve效果的机会少之又少。这样主要的技术部分就体现在 (2) 数据收集和整理。这个过程做得好要很强的programming skill，而SQL又是其中最重要的。至于(4)整理分析结果，excel是最高效的。而且很多时候你对的stakeholder都是business背景，平时就是看excel报表，也对他们的胃口。

至于(1) 和 (5)，属于soft skill的范畴，都需要很强的口语和沟通能力，也是DA和DS在职业上的本质区别。项目设计是最难的，也是最容易看出水平高低的一步，其中需要和客户做大量的沟通，明白他们业务上的问题，然后思考用什么样的数据和什么样的统计方法能回答他们的问题，帮助他们设计流程等等。(1) 其实和做research有点相似，也就是problem formulation，都需要有idea和开阔的视野，我想这也就是为什么DS比较偏向phd的原因。

以后有机会再另外开贴详细讲。楼主的贴子都很有营养，希望能和你多多交流

baiii

scfktina 发表于 2016-5-17 11:21
有什么具体的书或网站推荐吗？ 我刚开始自学一点简单的SQL，为了方便工作。谢谢 ...

W3C school

heroxk

dogdogkun 发表于 2016-11-26 15:20
楼主的贴子说得非常好！我最近半年从学术界转到公司做data scientist，体会最深的就是SQL+excel是最有用的 ...

请教一下，这个行业是不是需要PhD做敲门砖呢？还有，如果一个数据产品的难点不在技术上而是在需求分析，沟通和对商业的理解上，从学术界转过来是不是有点难度。

这么说来，现在的DS怎么感觉和以前的BI，data mining差不多？

dogdogkun

heroxk 发表于 2016-11-27 01:25
请教一下，这个行业是不是需要PhD做敲门砖呢？还有，如果一个数据产品的难点不在技术上而是在需求分析， ...

土澳的话phd好像优势不大，很多公司似乎更喜欢招honour和成绩好的undergrad。不过PhD对以后发展应该有帮助，在美帝data scientist大部分都要求PhD了。话说最近很多学校都开data science的master program，看了一下都挺intensive的，不知道两年后就业会怎么样。

Data science的大部分职位其实就是做BI和data mining，稍微不同的就是solution更加量化和全面（我们公司的BI analyst只做dashboard，但DS需要做和外边咨询公司差不多的report）在data source上会用unstructured的data比如social media，分析需要用到高阶一点的技术比如时间序列，聚类分析等等。但正如我上边说到，真正开发data-driven产品直接做决策和优化的公司不多，例如大数据的高频交易，推荐系统（Netflix，amazon，所以重点还是BI。

heroxk

dogdogkun 发表于 2016-11-27 11:05
土澳的话phd好像优势不大，很多公司似乎更喜欢招honour和成绩好的undergrad。不过PhD对以后发展应该有帮 ...

我这么问主要是之前和我们公司的DS聊了聊，招聘的话据说是非PhD不太考虑，虽然广告上一般不会说的很明。我们公司的DS基本都是清一色PhD，不知道今后各个大学批量处理出来的这些DS的Master，Bachelor毕业后容不容有环境实践了。应该还是做数据产品有些意思，BI感觉都是炒冷饭，只是换个头衔。

dogdogkun

heroxk 发表于 2016-11-27 17:14
我这么问主要是之前和我们公司的DS聊了聊，招聘的话据说是非PhD不太考虑，虽然广告上一般不会说的很明。 ...

我们组现在是一半一半，两个phd，一个double master中途quit phd的，两个undergrad（都是honor发过paper GPA很高的那种）。另外一个因素主要是土澳的phd质量很参差，我以前带过不少学生，本科phd都有，整体感觉成绩好的undergrad比phd学生素质要高也聪明，当然不排除phd有很出色的，只是整体而言。本科生项目经验和视野确实有所欠缺，但如果人够聪明是可以补上的。我自己倒是希望雇主可以更care学历，这样我找工作也有优势

做data-driven的产品需要强有力的product manager去策划，同时管理层要足够重视，有决心去改变。因为我们公司是传统retail公司，要改变运营模式需要时间，新公司可能会好一点吧（上头也没有人精通这一块，靠我们一班新人去推动真是老鼠拉龟）。

大大海

cnnworld 发表于 2016-3-4 11:36
sas在做报表方面比较有优势，但不适应日益变化的市场，对R每周都会出现新的算法包，而sas不行，sas的应用 ...

SAS和R功能差不多。最大的区别是一个开源另外一个是商业产品。如果做出来的东西出了问题而原因是程序本身。用SAS的话可以lawsuit. 但R的话只能公司自己负责。

鱼皮花生

mark

鱼皮花生

dogdogkun 发表于 2016-11-27 17:57
我们组现在是一半一半，两个phd，一个double master中途quit phd的，两个undergrad（都是honor发过paper  ...

对于现在市场，很多人会觉得读个PHD出来也是找工作，undergraduate也是找工作，大多数就读完了Honor就工作了，其实回想当初应该大学毕业马上工作，市场还比较好，做这一行就靠工作经验，读PHD靠着tutor跟奖学金要慢慢度过3，4年，除非真走学术路线

heroxk

dogdogkun 发表于 2016-11-27 17:57
我们组现在是一半一半，两个phd，一个double master中途quit phd的，两个undergrad（都是honor发过paper  ...

澳洲拿全奖的PhD，基本都是1st class honour或者master吧，成绩好像都是要GPA3.7，3.8以上，至少G8是这样的。难道现在PhD开始水了？

nuptwg

数据的搬运工飘过。。。你们这些data scientist 还真好命

鱼皮花生

nuptwg 发表于 2016-11-28 19:35
数据的搬运工飘过。。。你们这些data scientist 还真好命

大自然的搬运工

YugaYuga

nuptwg 发表于 2016-11-28 19:35
数据的搬运工飘过。。。你们这些data scientist 还真好命

数据的搬运工？ 主营ETL？

鱼皮花生

dogdogkun 发表于 2016-11-27 17:57
我们组现在是一半一半，两个phd，一个double master中途quit phd的，两个undergrad（都是honor发过paper  ...

分析下现在市场，要找工data scientists

nuptwg

YugaYuga 发表于 2016-11-28 19:46
数据的搬运工？ 主营ETL？

架构，对于大数据来说，我们是最底层的，经常被问我要的数据哪去鸟？

YugaYuga

nuptwg 发表于 2016-11-28 19:51
架构，对于大数据来说，我们是最底层的，经常被问我要的数据哪去鸟？

牛人阿。有空请你喝个茶呗？
data architect or information architect?

nuptwg

YugaYuga 发表于 2016-11-28 19:54
牛人阿。有空请你喝个茶呗？
data architect or information architect?

都不是，就是E2E architect，现在行情不好，domain architect甲方基本上木有了，E2E就是到处到了哪里就得做哪里的。上面压根不知道architect和engineer里面还有多少层。。。