新足迹 › 论坛 › 澳洲生活区 › 工作学习 › big data engineer目前在澳大利亚工作机会多吗 ...

精华好帖回顾
· [生活 (2007-7-16) Anihc	· 行路走四方—青春的行囊（二） (2014-2-4) Grace1127
· 难忘一刻－我的阿公 (2005-1-18) cheers	· 非帅哥的感情故事 (2009-11-2) aperson

查看: 5445|回复: 17

[IT] big data engineer目前在澳大利亚工作机会多吗 [复制链接]

随便如何

头像被屏蔽

禁止发言

发表于 2019-2-17 15:44 |显示全部楼层

此文章由随便如何原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者随便如何所有！转贴必须注明作者、出处和本声明，并保持内容完整

本帖最后由随便如何于 2019-2-17 16:05 编辑

做大数据，big data engineer职位在澳大利亚需求多吗？前一阵子比较热，最近降温了？
data analyst比较热门，码农出身的data engineer在这里需求高吗？
seek搜java, 500+个职位， big data, 400+个职位，java的要求很高，没有四五年经验很难找到，相比big data就最多需要两年经验

zy45

皮靴族

发表于 2019-2-18 10:12 |显示全部楼层

此文章由 zy45 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 zy45 所有！转贴必须注明作者、出处和本声明，并保持内容完整

还可以，挺多公司用的

Gaucho

头像被屏蔽

禁止发言

发表于 2019-2-18 10:25 |显示全部楼层

此文章由 Gaucho 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 Gaucho 所有！转贴必须注明作者、出处和本声明，并保持内容完整

在澳洲需求很少，全澳洲的大数据分析职位招聘加在一起还没有北京一个城市多。北京有两年工作经验的计算机统计专业的研究生都是50万+往上的薪水，带团队的都是70-100W。

签名被屏蔽

heroxk

版主

发表于 2019-2-18 11:04 |显示全部楼层

此文章由 heroxk 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 heroxk 所有！转贴必须注明作者、出处和本声明，并保持内容完整

还是挺火的，不一定非得是Big Data Engineer。Data Engineer本身还是比较吃香的。

好的有经验的DE不好找，我们组正在招，这个是我们目前的体会。

沧海一帆

皮靴族

发表于 2019-2-18 11:11 |显示全部楼层

此文章由沧海一帆原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者沧海一帆所有！转贴必须注明作者、出处和本声明，并保持内容完整

data engineer都做些啥？貌似每个公司定义都不一样

heroxk

版主

发表于 2019-2-18 11:30 |显示全部楼层

此文章由 heroxk 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 heroxk 所有！转贴必须注明作者、出处和本声明，并保持内容完整

沧海一帆发表于 2019-2-18 11:11
data engineer都做些啥？貌似每个公司定义都不一样

Data engineering的典型任务：

给定数据源，可能是文件，API，网站，流式数据。
设置Infrastructure。配置tool，或者开发scripting，consumer程序
按照业务需求，指定频率对数据进行读取或抓取，然后清洗、变形、转换。如果是多数据源，有可能需要进行数据缝合。
最后送到指定的数据存储点，这时的数据已经可以为下游的Reporting, Insights或者Data Science团队直接使用。

以上统称data pipeline。而Data Engineer就是打通data pipeline的人。所以又戏称data plumbing。