新足迹

 找回密码
 注册

精华好帖回顾

· 2014捕捉光线---天光云影共徘徊 (2014-7-17) autrant · 车轮滚滚美利坚----记美西自驾11天---完成 大量美景请进入 (2014-7-1) 蹦蹦跳跳
· 礼拜天的集市——墨尔本维多利亚市场 (2008-9-23) Tiger_Karen · 宝妈的厨房秘笈(2)扁!扁!扁! (2011-5-17) 明河素月
Advertisement
Advertisement
楼主:cnnworld

[IT] 数据基础普及贴 [复制链接]

头像被屏蔽

禁止发言

发表于 2016-3-11 21:41 |显示全部楼层
此文章由 Qubix123 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 Qubix123 所有!转贴必须注明作者、出处和本声明,并保持内容完整
Advertisement
Advertisement

发表于 2016-3-11 21:41 |显示全部楼层
此文章由 静好如初 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 静好如初 所有!转贴必须注明作者、出处和本声明,并保持内容完整
LZ是大牛,赞!

发表于 2016-4-23 02:12 |显示全部楼层
此文章由 czbbobo 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 czbbobo 所有!转贴必须注明作者、出处和本声明,并保持内容完整
头像被屏蔽

禁止发言

发表于 2016-4-23 09:39 |显示全部楼层
此文章由 iami_returns 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 iami_returns 所有!转贴必须注明作者、出处和本声明,并保持内容完整
sql 很简单,难的是统计,那东西不好搞

发表于 2016-4-23 09:43 |显示全部楼层
此文章由 leeroyjenkins 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 leeroyjenkins 所有!转贴必须注明作者、出处和本声明,并保持内容完整
好帖
头像被屏蔽

禁止发言

发表于 2016-4-23 16:19 |显示全部楼层
此文章由 Gaucho 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 Gaucho 所有!转贴必须注明作者、出处和本声明,并保持内容完整
iami_returns 发表于 2016-4-23 08:39
sql 很简单,难的是统计,那东西不好搞

SQL不好与统计学并列吧,就好像数数不能和代数并列一样。
签名被屏蔽
Advertisement
Advertisement
头像被屏蔽

禁止发言

发表于 2016-4-23 20:33 |显示全部楼层
此文章由 iami_returns 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 iami_returns 所有!转贴必须注明作者、出处和本声明,并保持内容完整
Gaucho 发表于 2016-4-23 15:19
SQL不好与统计学并列吧,就好像数数不能和代数并列一样。

废话,我说国它们两个是同类东西么?
签名被屏蔽

发表于 2016-5-11 15:29 来自手机 |显示全部楼层
此文章由 shusu0918 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 shusu0918 所有!转贴必须注明作者、出处和本声明,并保持内容完整
LZ好帖,先mark,再好好研究

发表于 2016-5-11 15:44 |显示全部楼层
此文章由 zyx_zhang 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 zyx_zhang 所有!转贴必须注明作者、出处和本声明,并保持内容完整
LZ说的很有一些道理,应该是具体做过项目的人。

个人一点看法,Excel 可以有着非常复杂的能力, VBA, Excel加上数据库,可以做出非常有用的系统。看看westpac的贷款经理怎么工作就知道了。

SQL入门容易,然而也是不容易精通的,能否写出高效、实用的SQL,也是决定你薪水高低的一个关键因素。

2021年度勋章获得者

发表于 2016-5-11 23:03 |显示全部楼层
此文章由 heroxk 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 heroxk 所有!转贴必须注明作者、出处和本声明,并保持内容完整
好文,期待已久

2021年度勋章获得者

发表于 2016-5-11 23:09 |显示全部楼层
此文章由 heroxk 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 heroxk 所有!转贴必须注明作者、出处和本声明,并保持内容完整
请教一下楼主,目前澳洲也就对data scientist的需求怎么样,属于位置较多招人比较难,还是僧多粥少?业界对没有经验的新手接受程度怎么样?
Advertisement
Advertisement

发表于 2016-5-16 19:37 |显示全部楼层
此文章由 三菱aidem 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 三菱aidem 所有!转贴必须注明作者、出处和本声明,并保持内容完整
Mark

发表于 2016-5-17 11:21 |显示全部楼层
此文章由 scfktina 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 scfktina 所有!转贴必须注明作者、出处和本声明,并保持内容完整
有什么具体的书或网站推荐吗? 我刚开始自学一点简单的SQL,为了方便工作。谢谢

发表于 2016-11-26 15:20 |显示全部楼层
此文章由 dogdogkun 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 dogdogkun 所有!转贴必须注明作者、出处和本声明,并保持内容完整
楼主的贴子说得非常好!我最近半年从学术界转到公司做data scientist,体会最深的就是SQL+excel是最有用的工具,足以应付大部分的日常工作。

另外再分享一些我自己的经验。一个数据分析的项目大体上可以分成(1)项目设计 (2)数据收集和整理 (3) 建模 (4)分析整理结果 (5)presentation。在我们公司,data analyst (DA) 主要是做 (2),而data scientist (DS) 则参与全部流程。

一般人认为(3)是技术含量和对数学要求最高的。理论上是这样,但很可惜,大多数情况下,其实(3)所占的比例是相当小甚至可以没有。大部分的所谓建模其实也就用一些现成的黑盒模型,真正做深度调参,根据数据特征build一个全新的模型,或者做大规模machine learning比对不同algorithm去improve效果的机会少之又少。这样主要的技术部分就体现在 (2) 数据收集和整理。这个过程做得好要很强的programming skill,而SQL又是其中最重要的。至于(4)整理分析结果,excel是最高效的。而且很多时候你对的stakeholder都是business背景,平时就是看excel报表,也对他们的胃口。

至于(1) 和 (5),属于soft skill的范畴,都需要很强的口语和沟通能力,也是DA和DS在职业上的本质区别。项目设计是最难的,也是最容易看出水平高低的一步,其中需要和客户做大量的沟通,明白他们业务上的问题,然后思考用什么样的数据和什么样的统计方法能回答他们的问题,帮助他们设计流程等等。(1) 其实和做research有点相似,也就是problem formulation,都需要有idea和开阔的视野,我想这也就是为什么DS比较偏向phd的原因。

以后有机会再另外开贴详细讲。楼主的贴子都很有营养,希望能和你多多交流





评分

参与人数 2积分 +6 收起 理由
鱼皮花生 + 3 我很赞同
baiii + 3 感谢分享

查看全部评分

发表于 2016-11-26 23:58 |显示全部楼层
此文章由 baiii 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 baiii 所有!转贴必须注明作者、出处和本声明,并保持内容完整
scfktina 发表于 2016-5-17 11:21
有什么具体的书或网站推荐吗? 我刚开始自学一点简单的SQL,为了方便工作。谢谢 ...

W3C school

2021年度勋章获得者

发表于 2016-11-27 01:25 |显示全部楼层
此文章由 heroxk 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 heroxk 所有!转贴必须注明作者、出处和本声明,并保持内容完整
dogdogkun 发表于 2016-11-26 15:20
楼主的贴子说得非常好!我最近半年从学术界转到公司做data scientist,体会最深的就是SQL+excel是最有用的 ...

请教一下,这个行业是不是需要PhD做敲门砖呢?还有,如果一个数据产品的难点不在技术上而是在需求分析,沟通和对商业的理解上,从学术界转过来是不是有点难度。

这么说来,现在的DS怎么感觉和以前的BI,data mining差不多?
Advertisement
Advertisement

发表于 2016-11-27 11:05 来自手机 |显示全部楼层
此文章由 dogdogkun 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 dogdogkun 所有!转贴必须注明作者、出处和本声明,并保持内容完整
heroxk 发表于 2016-11-27 01:25
请教一下,这个行业是不是需要PhD做敲门砖呢?还有,如果一个数据产品的难点不在技术上而是在需求分析, ...

土澳的话phd好像优势不大,很多公司似乎更喜欢招honour和成绩好的undergrad。不过PhD对以后发展应该有帮助,在美帝data scientist大部分都要求PhD了。话说最近很多学校都开data science的master program,看了一下都挺intensive的,不知道两年后就业会怎么样。

Data science的大部分职位其实就是做BI和data mining,稍微不同的就是solution更加量化和全面(我们公司的BI analyst只做dashboard,但DS需要做和外边咨询公司差不多的report)在data source上会用unstructured的data比如social media,分析需要用到高阶一点的技术比如时间序列,聚类分析等等。但正如我上边说到,真正开发data-driven产品直接做决策和优化的公司不多,例如大数据的高频交易,推荐系统(Netflix,amazon,所以重点还是BI。

2021年度勋章获得者

发表于 2016-11-27 17:14 |显示全部楼层
此文章由 heroxk 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 heroxk 所有!转贴必须注明作者、出处和本声明,并保持内容完整
dogdogkun 发表于 2016-11-27 11:05
土澳的话phd好像优势不大,很多公司似乎更喜欢招honour和成绩好的undergrad。不过PhD对以后发展应该有帮 ...


我这么问主要是之前和我们公司的DS聊了聊,招聘的话据说是非PhD不太考虑,虽然广告上一般不会说的很明。我们公司的DS基本都是清一色PhD,不知道今后各个大学批量处理出来的这些DS的Master,Bachelor毕业后容不容有环境实践了。应该还是做数据产品有些意思,BI感觉都是炒冷饭,只是换个头衔。

发表于 2016-11-27 17:57 |显示全部楼层
此文章由 dogdogkun 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 dogdogkun 所有!转贴必须注明作者、出处和本声明,并保持内容完整
heroxk 发表于 2016-11-27 17:14
我这么问主要是之前和我们公司的DS聊了聊,招聘的话据说是非PhD不太考虑,虽然广告上一般不会说的很明。 ...

我们组现在是一半一半,两个phd,一个double master中途quit phd的,两个undergrad(都是honor发过paper GPA很高的那种)。另外一个因素主要是土澳的phd质量很参差,我以前带过不少学生,本科phd都有,整体感觉成绩好的undergrad比phd学生素质要高也聪明,当然不排除phd有很出色的,只是整体而言。本科生项目经验和视野确实有所欠缺,但如果人够聪明是可以补上的。我自己倒是希望雇主可以更care学历,这样我找工作也有优势

做data-driven的产品需要强有力的product manager去策划,同时管理层要足够重视,有决心去改变。因为我们公司是传统retail公司,要改变运营模式需要时间,新公司可能会好一点吧(上头也没有人精通这一块,靠我们一班新人去推动真是老鼠拉龟)。

发表于 2016-11-28 10:32 来自手机 |显示全部楼层
此文章由 大大海 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 大大海 所有!转贴必须注明作者、出处和本声明,并保持内容完整
cnnworld 发表于 2016-3-4 11:36
sas在做报表方面比较有优势,但不适应日益变化的市场,对R每周都会出现新的算法包,而sas不行,sas的应用 ...

SAS和R功能差不多。最大的区别是一个开源另外一个是商业产品。如果做出来的东西出了问题而原因是程序本身。用SAS的话可以lawsuit. 但R的话只能公司自己负责。

发表于 2016-11-28 11:48 |显示全部楼层
此文章由 鱼皮花生 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 鱼皮花生 所有!转贴必须注明作者、出处和本声明,并保持内容完整
本帖最后由 鱼皮花生 于 2016-11-28 13:05 编辑

mark
Advertisement
Advertisement

发表于 2016-11-28 11:55 |显示全部楼层
此文章由 鱼皮花生 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 鱼皮花生 所有!转贴必须注明作者、出处和本声明,并保持内容完整
dogdogkun 发表于 2016-11-27 17:57
我们组现在是一半一半,两个phd,一个double master中途quit phd的,两个undergrad(都是honor发过paper  ...

对于现在市场,很多人会觉得读个PHD出来也是找工作,undergraduate也是找工作,大多数就读完了Honor就工作了,其实回想当初应该大学毕业马上工作,市场还比较好,做这一行就靠工作经验,读PHD靠着tutor跟奖学金要慢慢度过3,4年,除非真走学术路线

2021年度勋章获得者

发表于 2016-11-28 18:42 |显示全部楼层
此文章由 heroxk 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 heroxk 所有!转贴必须注明作者、出处和本声明,并保持内容完整
dogdogkun 发表于 2016-11-27 17:57
我们组现在是一半一半,两个phd,一个double master中途quit phd的,两个undergrad(都是honor发过paper  ...

澳洲拿全奖的PhD,基本都是1st class honour或者master吧,成绩好像都是要GPA3.7,3.8以上,至少G8是这样的。难道现在PhD开始水了?

发表于 2016-11-28 19:35 |显示全部楼层
此文章由 nuptwg 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 nuptwg 所有!转贴必须注明作者、出处和本声明,并保持内容完整
数据的搬运工飘过。。。你们这些data scientist 还真好命

发表于 2016-11-28 19:44 来自手机 |显示全部楼层
此文章由 鱼皮花生 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 鱼皮花生 所有!转贴必须注明作者、出处和本声明,并保持内容完整
nuptwg 发表于 2016-11-28 19:35
数据的搬运工飘过。。。你们这些data scientist 还真好命

大自然的搬运工

发表于 2016-11-28 19:46 |显示全部楼层
此文章由 YugaYuga 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 YugaYuga 所有!转贴必须注明作者、出处和本声明,并保持内容完整
nuptwg 发表于 2016-11-28 19:35
数据的搬运工飘过。。。你们这些data scientist 还真好命

数据的搬运工? 主营ETL?
you only live once
Advertisement
Advertisement

发表于 2016-11-28 19:51 来自手机 |显示全部楼层
此文章由 鱼皮花生 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 鱼皮花生 所有!转贴必须注明作者、出处和本声明,并保持内容完整
dogdogkun 发表于 2016-11-27 17:57
我们组现在是一半一半,两个phd,一个double master中途quit phd的,两个undergrad(都是honor发过paper  ...

分析下现在市场,要找工data scientists

发表于 2016-11-28 19:51 |显示全部楼层
此文章由 nuptwg 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 nuptwg 所有!转贴必须注明作者、出处和本声明,并保持内容完整
YugaYuga 发表于 2016-11-28 19:46
数据的搬运工? 主营ETL?

架构,对于大数据来说,我们是最底层的,经常被问我要的数据哪去鸟?

发表于 2016-11-28 19:54 |显示全部楼层
此文章由 YugaYuga 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 YugaYuga 所有!转贴必须注明作者、出处和本声明,并保持内容完整
nuptwg 发表于 2016-11-28 19:51
架构,对于大数据来说,我们是最底层的,经常被问我要的数据哪去鸟?

牛人阿。有空请你喝个茶呗?
data architect or information architect?
you only live once

发表于 2016-11-28 21:16 |显示全部楼层
此文章由 nuptwg 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 nuptwg 所有!转贴必须注明作者、出处和本声明,并保持内容完整
YugaYuga 发表于 2016-11-28 19:54
牛人阿。有空请你喝个茶呗?
data architect or information architect?

都不是,就是E2E architect,现在行情不好,domain architect甲方基本上木有了,E2E就是到处到了哪里就得做哪里的。上面压根不知道architect和engineer里面还有多少层。。。

发表回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

Advertisement
Advertisement
返回顶部