新足迹

 找回密码
 注册

精华好帖回顾

· 2025冬 新西兰南岛11日中东线游(完) (2025-7-30) yeqingyezhunan · 陈年旧事系列18 - 适应能力 (2006-10-22) SuiYi
· 年底税务知识分享 - FBT, Salary Packaging or Salary Sacrifice - (1)背景篇 (2008-6-11) simonwang · 参加活动 --- 张爱玲《红玫瑰与白玫瑰》:如何在一段糟糕的关系里找寻自我? (2019-3-13) leonar
Advertisement
Advertisement
楼主:享成

[IT] thanks [复制链接]

发表于 2016-7-22 16:02 |显示全部楼层
此文章由 jl162401 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 jl162401 所有!转贴必须注明作者、出处和本声明,并保持内容完整
cnnworld 发表于 2016-7-22 13:40
对于希望走技术路线的,为少走弯路,我建议的几个核心技术,这三个技术你玩转了,在技术这块,澳洲年薪10万 ...

留一个白条这里,这个我要加分

写的非常好
Advertisement
Advertisement

发表于 2016-7-22 16:05 |显示全部楼层
此文章由 jl162401 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 jl162401 所有!转贴必须注明作者、出处和本声明,并保持内容完整
不需要PHD做数据分析,做模型的话,需要有类似统计知识,你可以恶补一下。

建议学:

R, SAS, Python,Java and Scala

假设你SQL已经不错了

发表于 2016-7-22 16:05 |显示全部楼层
此文章由 cnnworld 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 cnnworld 所有!转贴必须注明作者、出处和本声明,并保持内容完整
free 发表于 2016-7-22 14:45
大师,我做编程10年以上,精通sql,vba和excel, 曾经用python做过一个公司内部网,现在也想转,可是怎么才 ...

澳洲从IT转数据要看契机,原因是做数据的,有不少是商科背景出身,他们自己也不知道做数据到底需要哪些核心技能,以为EXCEL就是数据分析的一切了,其他就是业务,交流能力,我上面说的技能,是你做数据如果掌握的话,可以非常得心应手

至于如何转,没有具体方法,不停找呗,面试的时候准备些数理统计知识,毕竟面试不会让你上来就写代码,做数据这行很奇怪,往往面的是理论知识,但实际工作靠的又是我说的那些技术技能,所以如何让面试官相信你有足够的理论知识,只能靠自己业余时间多看书,久了,就自然而然知道这行怎么回事了

发表于 2016-7-22 16:12 |显示全部楼层
此文章由 baiii 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 baiii 所有!转贴必须注明作者、出处和本声明,并保持内容完整
cnnworld 发表于 2016-7-22 15:01
excel是永远不可能被取代的,它是可视化的鼻祖,tableau在可视化方面确实有些优势,但excel是核心基本技 ...

没错,excel的ODBC的确很广,我们现在也确实用excel链接sql server直接获取一些数据。但是我看越来越多的招工广告上要求tableau,感觉是很热门啊。不过自己又没有实际操作经验,毕竟只有30天免费试用

发表于 2016-7-22 16:20 |显示全部楼层
此文章由 Mocking 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 Mocking 所有!转贴必须注明作者、出处和本声明,并保持内容完整
baiii 发表于 2016-7-22 15:12
没错,excel的ODBC的确很广,我们现在也确实用excel链接sql server直接获取一些数据。但是我看越来越多的 ...

好多公司要求tableau完全是跟热门。公司送几个人去参加了tableau的培训,回来都表示完全不能取代excel
尤其是tableau的地图只有一个projection,而且不能用cmd大批量的做基于同一个template连接数据库的business analysis报表

评分

参与人数 1积分 +2 收起 理由
baiii + 2 感谢分享

查看全部评分

发表于 2016-7-22 17:44 |显示全部楼层
此文章由 求知 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 求知 所有!转贴必须注明作者、出处和本声明,并保持内容完整
大部分数据分析都是用软件,知识要求综合性,但不需要太深。
Advertisement
Advertisement

发表于 2016-7-22 18:07 来自手机 |显示全部楼层
此文章由 chenv1982 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 chenv1982 所有!转贴必须注明作者、出处和本声明,并保持内容完整
本帖最后由 chenv1982 于 2016-7-22 17:08 编辑
cnnworld 发表于 2016-7-22 10:59
过来人的经验,能转尽量转

不过你有些观点是不对的,软件工程师要时刻保持学习,数据分析师也要时刻保持学 ...


借贴请教一下各位大牛。
Excel的row数据量上限传说Excel2007版本以上是1M以上,可是用pivottable或powerpivot时,又打回65,000+,当大于这个量时便分析不了。因为最终我要实现成pivotchart,有slice变化。你们遇到这种量值的时候如何实现?
恳请大牛们赐教!

发表于 2016-7-22 18:16 |显示全部楼层
此文章由 静好如初 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 静好如初 所有!转贴必须注明作者、出处和本声明,并保持内容完整
cnnworld 发表于 2016-7-22 15:05
澳洲从IT转数据要看契机,原因是做数据的,有不少是商科背景出身,他们自己也不知道做数据到底需要哪些核 ...

好奇商科背景出身的如何转数据的,是BA那类么?


2016年度奖章获得者

发表于 2016-7-22 18:23 |显示全部楼层
此文章由 小小白虎 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 小小白虎 所有!转贴必须注明作者、出处和本声明,并保持内容完整
我做得是和数据沾边的职业,打算进修一下Python...只有一些JAVA的基础...尽量试试吧

发表于 2016-7-22 18:28 |显示全部楼层
此文章由 cnnworld 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 cnnworld 所有!转贴必须注明作者、出处和本声明,并保持内容完整
chenv1982 发表于 2016-7-22 17:07
借贴请教一下各位大牛。
Excel的row数据量上限传说Excel2007版本以上是1M以上,可是用pivottable或powerp ...

百万级别的数据,放在excel跑pivot不累死才怪,问题并不是excel限制行数,而是你的内存容量问题

直接load百万级别的数据到excel并不明智,一般是在数据库里面做temporary table做预处理,这个过程是用SQL控制的,完了最后个表就是预处理后的数据,用这个最后的表做pivot 就容易多了,用户使用excel也方便很多

要不然,打开一个excel就半天,储存下又一个半天,不要把excel当作数据预处理的工具,预处理的工具是SQL,再重申一遍是SQL

当然,如果数据逻辑不复杂不大,也可以用power query 来load已经group 好的数据,数据量就小多了,总之,不要将太多数据放入内存,你毕竟是个单机,你做pivot,本质也就是在做group data的事,但你load所有数据再做pivot,意味着所有数据都得在内存,如果你用sql,就没这个问题,你的内存只占有最后的那个结果的小数据集,为啥sql比excel强那么多?因为excel处理这类数据的时候,不会优化,没有index等,因为它不是个数据库,数据库是处理数据最天然最优秀的工具

评分

参与人数 1积分 +3 收起 理由
ljbit + 3 感谢分享

查看全部评分

发表于 2016-7-22 18:42 来自手机 |显示全部楼层
此文章由 chenv1982 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 chenv1982 所有!转贴必须注明作者、出处和本声明,并保持内容完整
谢谢回复。
我的量不是百万,只是正好大于65,000一点点,pivot便跑不过去,只是一心想直接呈现出pivot chart,本以为Excel最简便。

多谢提醒!
Advertisement
Advertisement

发表于 2016-7-23 11:10 来自手机 |显示全部楼层
此文章由 free 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 free 所有!转贴必须注明作者、出处和本声明,并保持内容完整
cnnworld 发表于 2016-7-22 15:05
澳洲从IT转数据要看契机,原因是做数据的,有不少是商科背景出身,他们自己也不知道做数据到底需要哪些核 ...

谢谢。

发表于 2016-7-23 11:51 |显示全部楼层
此文章由 sheilaloo 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 sheilaloo 所有!转贴必须注明作者、出处和本声明,并保持内容完整
说一句不好听的话

如果你不喜欢学习,不喜欢做,不enjoy

什么都不可能做好

发表于 2016-7-23 17:49 来自手机 |显示全部楼层
此文章由 whoisit 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 whoisit 所有!转贴必须注明作者、出处和本声明,并保持内容完整
楼主,数据分析师DA比和软件工程师工资差不多,是不用怎么一辈子学习,但是工作比较单调,学个线代,数理统计,回归就可以了。如果你是想做数据科学家DS,恐怕是得读到phd,至少也得是名校的统计硕士。统计的难度可不是CS可比的,我一直觉得编程这东西手把手教没有不会的道理,数学统计就真的靠造化了

发表于 2016-7-24 09:45 |显示全部楼层
此文章由 BlueMountainAu 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 BlueMountainAu 所有!转贴必须注明作者、出处和本声明,并保持内容完整
本帖最后由 BlueMountainAu 于 2016-7-24 08:49 编辑

好帖,对以上的大牛们膜拜一下

发表于 2016-7-25 00:17 来自手机 |显示全部楼层
此文章由 Disenchanted 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 Disenchanted 所有!转贴必须注明作者、出处和本声明,并保持内容完整
谢谢楼上各位大牛的介绍,真的是受益匪浅。看来今后要好好学excel,Python,SQL
Advertisement
Advertisement
头像被屏蔽

禁止发言

发表于 2016-7-25 00:38 |显示全部楼层
此文章由 闲云散人 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 闲云散人 所有!转贴必须注明作者、出处和本声明,并保持内容完整
gzrain 发表于 2016-7-22 10:44
我其实想说的是,转行往往意味着重新开始,要达到同样的职业层次要比在当前行业提高要付出更大的努力;

...

通常是要等成功了才出来炫耀的

评分

参与人数 1积分 +2 收起 理由
gzrain + 2 你太有才了

查看全部评分

发表于 2016-7-25 18:26 |显示全部楼层
此文章由 Stevecc 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 Stevecc 所有!转贴必须注明作者、出处和本声明,并保持内容完整
gzrain 发表于 2016-7-22 10:44
我其实想说的是,转行往往意味着重新开始,要达到同样的职业层次要比在当前行业提高要付出更大的努力;

...

“转行往往意味着重新开始,要达到同样的职业层次要比在当前行业提高要付出更大的努力;”,赞同。

发表于 2016-7-27 00:51 |显示全部楼层
此文章由 600894763829461 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 600894763829461 所有!转贴必须注明作者、出处和本声明,并保持内容完整
工程学phd可以往这方向转吗?看好多都说不限专业

发表于 2016-7-27 22:20 |显示全部楼层
此文章由 ysihaoy 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 ysihaoy 所有!转贴必须注明作者、出处和本声明,并保持内容完整
看几个楼上的帖子,都玩spark了,还停留在Python上,也是醉了

发表于 2016-7-28 01:27 |显示全部楼层
此文章由 Shark-AU 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 Shark-AU 所有!转贴必须注明作者、出处和本声明,并保持内容完整
cnnworld 发表于 2016-7-22 13:40
对于希望走技术路线的,为少走弯路,我建议的几个核心技术,这三个技术你玩转了,在技术这块,澳洲年薪10万 ...

拜读了大牛的帖子 收益良多
澳洲做数据从 academic 转 industry 好转吗?
Advertisement
Advertisement

发表于 2016-7-28 01:51 来自手机 |显示全部楼层
此文章由 susanlee 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 susanlee 所有!转贴必须注明作者、出处和本声明,并保持内容完整
cnnworld 发表于 2016-7-22 11:25
总体说起来,数学只是加分项,真正的工作中,数学所占据的不会超过20%,但这些术语你不懂人家又不会认可 ...

我觉得machine learning 不止是经典算法的调用,数据特征也是重点,熟悉行业背景和好的数学感觉对特征构造有很大影响。

发表于 2016-7-28 01:58 来自手机 |显示全部楼层
此文章由 cnnworld 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 cnnworld 所有!转贴必须注明作者、出处和本声明,并保持内容完整
susanlee 发表于 2016-7-28 00:51
我觉得machine learning 不止是经典算法的调用,数据特征也是重点,熟悉行业背景和好的数学感觉对特征构 ...

数据特征当然是重点中的重点,特征的预处理方式直接关系到模型效果

一个数据挖掘项目,80%的时间在处理特征,而如何处理特征,这里面有大量数学知识了

数据的好玩之处是,你即使技术特别牛,还不够,你得有业务知识,所以数据从业者门槛随着年龄会增加,也延长了职业寿命

发表于 2016-7-28 10:32 |显示全部楼层
此文章由 susanlee 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 susanlee 所有!转贴必须注明作者、出处和本声明,并保持内容完整
cnnworld 发表于 2016-7-28 00:58
数据特征当然是重点中的重点,特征的预处理方式直接关系到模型效果

一个数据挖掘项目,80%的时间在处理 ...

发表于 2016-7-28 11:13 来自手机 |显示全部楼层
此文章由 step100 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 step100 所有!转贴必须注明作者、出处和本声明,并保持内容完整
cnnworld 发表于 2016-7-28 00:58
数据特征当然是重点中的重点,特征的预处理方式直接关系到模型效果

一个数据挖掘项目,80%的时间在处理 ...

请问这里说的数据分析和金融quant工的工作有联系的吗?

发表于 2016-8-1 02:42 |显示全部楼层
此文章由 autumncame 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 autumncame 所有!转贴必须注明作者、出处和本声明,并保持内容完整
也在为转行努力。我的理解:实际工作中普通少量临时excel,sql, 大数据量spark云计算 nosql,建模python(各种库的使用)  以及之间的配合使用。 数据有价值的还是行业结合,银行,物流,零售数据分析等等,除非技术很牛专注于技术。很多见到的DA工作 excel sql就够了,大数据相关的话就要求IT多了。另外,数据感觉很苦逼,数据量大的话翻来覆去找数据问题比找code 的bug感觉还要心累,处理各种奇葩数据写程序也是改改改改改改,一样劳累的命。
Advertisement
Advertisement
头像被屏蔽

禁止发言

发表于 2016-8-1 11:08 来自手机 |显示全部楼层
此文章由 Oken 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 Oken 所有!转贴必须注明作者、出处和本声明,并保持内容完整
ysihaoy 发表于 2016-7-27 21:20
看几个楼上的帖子,都玩spark了,还停留在Python上,也是醉了

Spark 的 python binding 非常好用,建议试试
头像被屏蔽

禁止发言

发表于 2016-8-1 11:09 来自手机 |显示全部楼层
此文章由 Oken 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 Oken 所有!转贴必须注明作者、出处和本声明,并保持内容完整
susanlee 发表于 2016-7-28 00:51
我觉得machine learning 不止是经典算法的调用,数据特征也是重点,熟悉行业背景和好的数学感觉对特征构 ...

没错,得有一些先验知识,否则就是瞎猜
头像被屏蔽

禁止发言

发表于 2016-8-1 11:10 来自手机 |显示全部楼层
此文章由 Oken 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 Oken 所有!转贴必须注明作者、出处和本声明,并保持内容完整
step100 发表于 2016-7-28 10:13
请问这里说的数据分析和金融quant工的工作有联系的吗?

应该不一样, quant看你做哪方面的,如果是 quant trader,比他们做的数据量大很多,他们讨论的感觉主要还是 bi有关的

发表于 2016-8-4 00:39 |显示全部楼层
此文章由 xxxxxxccc 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 xxxxxxccc 所有!转贴必须注明作者、出处和本声明,并保持内容完整
马一下,以后可能会用到

发表回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

Advertisement
Advertisement
返回顶部