新足迹 › 论坛 › 澳洲生活区 › 工作学习 › 浅谈DevOps，文化、技术和职业发展

精华好帖回顾
· TAS自助游懒人篇 (2009-10-10) 流星雨解毒片	· 墨尔本的一场周末房产拍卖 (2006-6-25) villa
· 参赛小贴士-怎样贴歌（更新一个录音教程帖的链接） (2008-2-12) 琪琪	· 蝈蝈厨房之---荆楚名吃---澳版三鲜豆皮 (2010-10-11) t_guoguo

1 2 3 4 5 678 / 8 页下一页

楼主:heroxk

[IT] 浅谈DevOps，文化、技术和职业发展 [复制链接]

fangqiangqiang

皮靴族

发表于 2017-6-5 00:00 |显示全部楼层

此文章由 fangqiangqiang 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 fangqiangqiang 所有！转贴必须注明作者、出处和本声明，并保持内容完整

heroxk 发表于 2016-8-13 08:59
不少朋友问，掌握了一些tool，比如Git, Puppet/Ansible，会用一些vm, docker，AWS是不是就具备了DevOps相关 ...

请大神讲讲docker的具体应用和注意事项

Questions

铜靴族

发表于 2017-6-5 00:08 |显示全部楼层

此文章由 Questions 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 Questions 所有！转贴必须注明作者、出处和本声明，并保持内容完整

求大神开群带队。

Questions

铜靴族

发表于 2017-6-5 00:10 |显示全部楼层

此文章由 Questions 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 Questions 所有！转贴必须注明作者、出处和本声明，并保持内容完整

BTW，最近市场上找DevOps的人很多啊

libai0915

木屐族

发表于 2017-7-1 09:53 来自手机 |显示全部楼层

此文章由 libai0915 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 libai0915 所有！转贴必须注明作者、出处和本声明，并保持内容完整

咋没人讨论了？

lovebabyhu

皮靴族

发表于 2017-7-17 00:25 |显示全部楼层

此文章由 lovebabyhu 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 lovebabyhu 所有！转贴必须注明作者、出处和本声明，并保持内容完整

回头看这个帖子，楼主，世界好小，我下个月加入你上家公司，title: Senior Cloud Architect & Senior DevOps

heroxk

版主

发表于 2017-7-17 22:21 |显示全部楼层

此文章由 heroxk 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 heroxk 所有！转贴必须注明作者、出处和本声明，并保持内容完整

lovebabyhu 发表于 2017-7-16 23:25
回头看这个帖子，楼主，世界好小，我下个月加入你上家公司，title: Senior Cloud Architect & Senior DevOp ...

恭喜恭喜，Versent整体水平还是比较高的。混过一段时间后，去了client都是抢着要。

BTW，我已经转行去做Data Scientist了，目前也尽量将DevOps和Agile的理念运用到Data Science的领域。

评分

参与人数 1	积分 +4	收起理由
jimway	+ 4	你太有才了 go as you want

查看全部评分

lovebabyhu

皮靴族

发表于 2017-7-17 22:58 |显示全部楼层

此文章由 lovebabyhu 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 lovebabyhu 所有！转贴必须注明作者、出处和本声明，并保持内容完整

heroxk 发表于 2017-7-17 21:21
恭喜恭喜，Versent整体水平还是比较高的。混过一段时间后，去了client都是抢着要。

BTW，我已经转行去做 ...

嗯，我看Versent最近两三年发展很快，总共有一百六七十人了，挺大的一个队伍，在悉尼这边据说还经常会请Amazon的人，还有一些集成工具的专业人员到公司培训，我觉得那样不错！我其实可以选两个方向，Full stack 和 DevOps, 最后权衡来还是觉得DevOps和Architect比较能发挥我的系统经验。

也恭喜你，data scientist跟大数据处理应该概念不太一样吧？

评分

参与人数 1	积分 +3	收起理由
libai0915	+ 3	感谢分享

查看全部评分

aboutime

皮靴族

发表于 2017-7-17 23:05 |显示全部楼层

此文章由 aboutime 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 aboutime 所有！转贴必须注明作者、出处和本声明，并保持内容完整

heroxk 发表于 2017-7-17 21:21
恭喜恭喜，Versent整体水平还是比较高的。混过一段时间后，去了client都是抢着要。

BTW，我已经转行去做 ...

紧跟技术潮流

heroxk

版主

发表于 2017-7-18 11:05 |显示全部楼层

此文章由 heroxk 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 heroxk 所有！转贴必须注明作者、出处和本声明，并保持内容完整

lovebabyhu 发表于 2017-7-17 21:58
嗯，我看Versent最近两三年发展很快，总共有一百六七十人了，挺大的一个队伍，在悉尼这边据说还经常会请A ...

明智的选择。一般AWS会有solution architect团队专门帮助partner，还有一些其他的厂商比如CA，SUMO， Redhat也会经常过来做update。

传统data science和big data有交集但是不是一回事，前者偏建模，后者偏数据处理、变换 (ETL)、storage/backup，datawarehouse management。Big data这块我们有专门的团队去做。

我现在的公司正在面临data science/analytics模式的转型，从传统的读数据，建模，出报表。慢慢开始需要将DS的feature做到product中，里面的data science子系统，牵涉的不仅仅是machine learning算法，还有system integration，data ingestion，data serving，data pipeline，failover等等的东西。所以我正好能发挥优势。

er1c

草鞋族

发表于 2017-7-18 14:56 |显示全部楼层

此文章由 er1c 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 er1c 所有！转贴必须注明作者、出处和本声明，并保持内容完整

先马后看

airmoon100

头像被屏蔽

禁止发言

发表于 2017-7-18 17:36 |显示全部楼层

此文章由 airmoon100 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 airmoon100 所有！转贴必须注明作者、出处和本声明，并保持内容完整

这就是公司老板让你啥都干，还要名正言顺。

libai0915

木屐族

发表于 2017-7-30 20:19 |显示全部楼层

此文章由 libai0915 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 libai0915 所有！转贴必须注明作者、出处和本声明，并保持内容完整

heroxk 发表于 2017-7-18 10:05
明智的选择。一般AWS会有solution architect团队专门帮助partner，还有一些其他的厂商比如CA，SUMO， Red ...

恭喜楼主，问下群主的大数据平台用的是什么？AWS的EMR还是什么？我们搭建了一套DS的平台从数据ingestion到跑完模型输出prediction结果，全部是在aws下完成的。

heroxk

版主

发表于 2017-7-31 21:53 |显示全部楼层

此文章由 heroxk 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 heroxk 所有！转贴必须注明作者、出处和本声明，并保持内容完整

本帖最后由 heroxk 于 2017-7-31 20:55 编辑

libai0915 发表于 2017-7-30 19:19
恭喜楼主，问下群主的大数据平台用的是什么？AWS的EMR还是什么？我们搭建了一套DS的平台从数据ingestion ...

AWS为主，EMR只是一部分，还有S3, Elasticache, dynamoDB, Redshift, Lambda, SQS, SNS, Kinesis都用到。是一整套生态系统。我们DS自己的开发试验平台在Databrick上面

评分

参与人数 1	积分 +3	收起理由
libai0915	+ 3

查看全部评分

flydove2002

皮靴族

发表于 2017-8-1 17:12 |显示全部楼层

此文章由 flydove2002 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 flydove2002 所有！转贴必须注明作者、出处和本声明，并保持内容完整

太有用了

libai0915

木屐族

发表于 2017-8-1 23:54 |显示全部楼层

此文章由 libai0915 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 libai0915 所有！转贴必须注明作者、出处和本声明，并保持内容完整

heroxk 发表于 2017-7-31 20:53
AWS为主，EMR只是一部分，还有S3, Elasticache, dynamoDB, Redshift, Lambda, SQS, SNS, Kinesis都用到。 ...

我们也是用到了这些服务，感觉这套平台搭建起来后对aws的服务就有了更深入的了解。楼主有用过azure的hortonworks和其他类似的服务吗？有没有比较过azure和aws的优缺点那个更好一点。一直想学学azure 但是平时工作太忙公司有账户也没有时间去研究。

libai0915

木屐族

发表于 2017-8-1 23:56 |显示全部楼层

此文章由 libai0915 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 libai0915 所有！转贴必须注明作者、出处和本声明，并保持内容完整

lovebabyhu 发表于 2017-7-17 21:58
嗯，我看Versent最近两三年发展很快，总共有一百六七十人了，挺大的一个队伍，在悉尼这边据说还经常会请A ...

请问你是那个语言的full stack？javascrips和node的吗？现在full stack developer很吃香啊

zouzoukan

皮靴族

发表于 2017-8-2 00:07 |显示全部楼层

此文章由 zouzoukan 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 zouzoukan 所有！转贴必须注明作者、出处和本声明，并保持内容完整

libai0915 发表于 2017-8-1 22:56
请问你是那个语言的full stack？javascrips和node的吗？现在full stack developer很吃香啊 ...

是的，JavaScript & NodeJs,　那个是我领导的账号！

heroxk

版主

发表于 2017-8-2 00:07 |显示全部楼层

此文章由 heroxk 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 heroxk 所有！转贴必须注明作者、出处和本声明，并保持内容完整

libai0915 发表于 2017-8-1 22:54
我们也是用到了这些服务，感觉这套平台搭建起来后对aws的服务就有了更深入的了解。楼主有用过azure的hort ...

我做过Hortonworks Data Platform的PoC，在AWS上面搭的，用的Ambari，也是一键部署。

但是后来做productionization时候IT那边认为DevOps负担太重，虽然我自己有能力去support，但是我的重心已经偏向建模而不是Infra本身，而且我们data science team没有On-call的先例，没有人愿意半夜被电话叫起来。

所以后来没有用这个方案。

zouzoukan

皮靴族

发表于 2017-8-2 00:09 |显示全部楼层

此文章由 zouzoukan 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 zouzoukan 所有！转贴必须注明作者、出处和本声明，并保持内容完整

heroxk 发表于 2017-8-1 23:07
我做过Hortonworks Data Platform的PoC，在AWS上面搭的，用的Ambari，也是一键部署。

但是后来做product ...

做DevOps的时候有半夜被叫起来的经历吗？一般不onCall 吧？

heroxk

版主

发表于 2017-8-2 00:13 |显示全部楼层

此文章由 heroxk 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 heroxk 所有！转贴必须注明作者、出处和本声明，并保持内容完整

zouzoukan 发表于 2017-8-1 23:09
做DevOps的时候有半夜被叫起来的经历吗？一般不onCall 吧？

有，DevOps无法完全和Ops分的很清楚。

Release to production的时候，部署中出了问题一线Ops搞不定会call的，尤其是系统是24/7的。

zouzoukan

皮靴族

发表于 2017-8-2 00:19 |显示全部楼层

此文章由 zouzoukan 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 zouzoukan 所有！转贴必须注明作者、出处和本声明，并保持内容完整

heroxk 发表于 2017-8-1 23:13
有，DevOps无法完全和Ops分的很清楚。

Release to production的时候，部署中出了问题一线Ops搞不定会cal ...

ok, 工作十几年还没怎么加过班呢，更别说半夜被叫起来了，不过偶尔的话也能接受！

libai0915

木屐族

发表于 2017-8-2 00:23 |显示全部楼层

此文章由 libai0915 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 libai0915 所有！转贴必须注明作者、出处和本声明，并保持内容完整

我这边加班也比较多，但是并不是on call那种主要很多新东西要学感觉时间总是不够。

libai0915

木屐族

发表于 2017-8-2 00:24 |显示全部楼层

此文章由 libai0915 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 libai0915 所有！转贴必须注明作者、出处和本声明，并保持内容完整

heroxk 发表于 2017-8-1 23:13
有，DevOps无法完全和Ops分的很清楚。

Release to production的时候，部署中出了问题一线Ops搞不定会cal ...

现在做ds model咋样，你用r还是python做？

heroxk

版主

发表于 2017-8-2 00:28 |显示全部楼层

此文章由 heroxk 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 heroxk 所有！转贴必须注明作者、出处和本声明，并保持内容完整

libai0915 发表于 2017-8-1 23:24
现在做ds model咋样，你用r还是python做？

分析用SQL/python/pyspark为主，涉及到productionization的时候用scala。R我自己用，但是工作中少一些，

libai0915

木屐族

发表于 2017-8-2 00:37 |显示全部楼层

此文章由 libai0915 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 libai0915 所有！转贴必须注明作者、出处和本声明，并保持内容完整

heroxk 发表于 2017-8-1 23:28
分析用SQL/python/pyspark为主，涉及到productionization的时候用scala。R我自己用，但是工作中少一些， ...

为何productionization的时候要用scala？

heroxk

版主

发表于 2017-8-2 07:50 |显示全部楼层

此文章由 heroxk 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 heroxk 所有！转贴必须注明作者、出处和本声明，并保持内容完整

本帖最后由 heroxk 于 2017-8-2 06:51 编辑

libai0915 发表于 2017-8-1 23:37
为何productionization的时候要用scala？

python不是runtime safe，而且不是strongly typed语言。python的package management不容易，没有scala的打包机制成熟，给生产环境的部署带来麻烦。

当然我说的都是在Spark环境下。

libai0915

木屐族

发表于 2017-8-3 00:56 |显示全部楼层

此文章由 libai0915 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 libai0915 所有！转贴必须注明作者、出处和本声明，并保持内容完整

heroxk 发表于 2017-8-2 06:50
python不是runtime safe，而且不是strongly typed语言。python的package management不容易，没有scala的 ...

marbleapple

草鞋族

发表于 2017-8-3 14:23 |显示全部楼层

此文章由 marbleapple 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 marbleapple 所有！转贴必须注明作者、出处和本声明，并保持内容完整

本帖最后由 marbleapple 于 2017-8-3 13:25 编辑

devops 的起源是以前 dev 和ops是分开的，所以导致了很多问题(dev不了解客户的使用情况, ops或者support不大清楚产品内部的细节，导致产品发布后的各种问题）
为了解决这个问题，公司开始让开发部人员直接支持客户，然后开发豁然开朗（靠，原来客户这么用我们的产品！），客户也更加满意。
后来，开发嘛，因为可以写脚本和工具能简化这些支持中的工作，就有了各种自动化发布工具
devops的精髓在于组织、流程和回馈（开发部门尽可能接触和掌控客户部署和支持，这些经验也能回馈到开发新产品功能上），工具只是手段。