浅谈DevOps，文化、技术和职业发展

libai0915

heroxk 发表于 2017-8-2 06:50
python不是runtime safe，而且不是strongly typed语言。python的package management不容易，没有scala的 ...

想问一下最近公司要搞一个daily monitoring的东西，要检查github，teamcity，emr，ecs这些东西是否运作正常之类的，有没有什么类似的经验？是自己写脚本还是有什么现成的工具比较好用，我看有个python的testinfras 可能可以用上，不知道还有啥更好的工具？没有我就自己写吧。

seagull836

学习。

cloud226

heroxk 发表于 2017-7-18 11:05
明智的选择。一般AWS会有solution architect团队专门帮助partner，还有一些其他的厂商比如CA，SUMO， Red ...

感觉你这个职位更像data architecture啊 data scientist相对来说比较偏建模 对统计的要求也更高吧

我其实就想往你这个方向走 但我本身是dev出身的team lead 但是知识非常偏编程和application layer， 请问如果想往data architecture方向走 需要着重那些方面呢？

heroxk

cloud226 发表于 2017-10-3 00:10
感觉你这个职位更像data architecture啊 data scientist相对来说比较偏建模 对统计的要求也更高吧

我其 ...

我有超过一半时间在建模。各种stats/probability，significance test，classification, clustering，DNN工作中都在用。

但是因为我们团队customer facing，所以最终的结果不是生成个report、提供个分析结果那么简单。而是要做end2end solution。模型要定时跑，ML结果要过各种测试。上线后每个用户的请求过来，都会触发前端service去获取后端ML生成的结果。

我做的是DS，还兼具Machine Learning System Architect。但是我的重心慢慢向modelling偏，忙不过来。

Data Architect有些不一样，他们更多的是怎么获取数据和整合数据，设计data pipeline，做ETL。而具体管理数据、备份数据、数据仓库运维等实现方面，是data engineer干的事情。对数据本身蕴含的商业意义，他们其实并不需要知道多少。

如果要转，可能从data engineer开始比较容易一些，等对data warehouse, data lake, web tracking这些比较熟悉了以后，可以转Data Architect。

cloud226

heroxk 发表于 2017-10-3 20:49
我有超过一半时间在建模。各种stats/probability，significance test，classification, clustering，DNN ...

感谢分享

你的工作经验和你现在做的DS关系不算大啊 你是怎么转型的呢？你是有专门上了课程吗？

还有 IT背景会在建模的时有遇到什么瓶颈吗？毕竟各种模型的对比 每个参数的调试 每个feature的correlation 既需要统计知识也需要domain知识 你是如何应对的呢？

heroxk

cloud226 发表于 2017-10-3 21:07
感谢分享

你的工作经验和你现在做的DS关系不算大啊 你是怎么转型的呢？你是有专门上了课程吗？

我的PhD是做pattern recognition和Machine learning的。之前在澳洲国家级的超级计算机中心，为用户，主要是科研工作者，提供Consultation，包括算法优化。也同时设计部署计算集群，因为有自动部署的经验，所以后来转去做企业及系统的DevOps一段时间。

算法方面，比如FFT、层数比较少的Feedforward Neural Net这种，我可以不调任何矩阵运算数学包，只用最基本的数组就写出来。读书期间，像什么SVM这种，都可以数学推导出来的。math/stats/probability只是基础。

所以转DS，技术上并没有什么障碍。从算法原型，到设计系统去host模型，模型算法性能调优，基本是可以一包到底。

障碍最大的是business domain knowledge和对product的了解。这个花了不少精力，包括和人的沟通。还有就是数据本身会有很多问题，不得不花大量时间去处理数据。

RaceRunner

从头到尾拜读了楼主的文章，受益匪浅。 想请教一下

我一直在国内的IT公司工作12年，最早做过Java开发4年，后来做IT system operation3年， PM, PMO 都做过，现在做DevOps类的产品的售前支持管理。 已经拿到PR，但暂时还没去澳洲。本人不是很喜欢写代码，想去澳洲悉尼找个DevOps相关的工作。 请问我的背景适合做DevOps吗，目前澳洲是偏Dev还是偏Ops的职位多？   

虽然做DevOps的工具销售，但很少使用那些工具链。 现在国内准备，考了DevOps Master认证， 参加很多社区，比如Jenkins， Ansible， docker之类的。 正在学习这些工具，不知道还要准备哪些？

朋友说CI工具teamcity现在很流行，  

Jenkins， teamcity， Ansible， docker， kerbunete ，AWS 这些都要学的比较深入？还是了解简单操作就能找到devops的工作？

现在犹豫：
            是在国内找个DevOps Engineer的实际工作做一年熟练掌握这些工具后再过去澳洲？
           还是自学一下这些工具直接去澳洲找工作？


希望前辈给些建议，

谢谢！

heroxk

RaceRunner 发表于 2017-12-2 14:43
从头到尾拜读了楼主的文章，受益匪浅。 想请教一下

我一直在国内的IT公司工作12年，最早做过Java开发4年， ...

我听上去觉得你技术上不会有问题，工具什么的有环境学起来很快，没什么是学不会的。

更多的挑战可能会是交流和流程上的，DevOps扯皮的时候比做开发要多，不论是偏infra还是dev这边的。你越早来澳洲越容易融入当地的文化。

只是我个人的建议。

leophew

学习中，留个坑

nemodory

写的很好,
As a dev for many years, i'm not sure when should be right time to transfer myself to be DevOps (CI/CD).

nemodory

Backend看不起frontend，Java看不起c#,
Release Management, Continuous Integration, Git, Docker程序员都会.
Developer有的是create成就感, DevOps有的是解决问题的成就感.

xiejiannan

matthew2011

好帖， 最近1-2年在做基于Sitecore的devops, Ansible+Jenkins作为自动化脚本平台，Bamboo做编译和打包，Nexus管理Nuget 和编译后的aritifact，20多个环境全托管在AWS (ALB, ASG)。。。。

很想了解一下其他大公司是什么架构和技术，有什么好群请分享一下, 期望与各位志同道合的朋友聊聊

GEWEIYA

真佩服，能够获得那么多分数，赞！

ekong

LZ一开始就给大家指明了金光大道，在疫情后，dv更火了，现在还有dsv，给的薪资更高

heaptostay

什么是dsv ？

heroxk

heaptostay 发表于 2021-3-2 21:39
什么是dsv ？

是不是说DevSecOps，这个很火。

Echo_Z

czy1024 发表于 2016-8-22 15:11
AWS是managed，有很多限制和意想不到的惊喜。

这句话怎么理解?

您现在应该已经在相关行业有几年的工作经验了吧？
如果是的话，可以分享下AWS工作的心得吗？因为我最近也在考虑转行云计算。提前感谢！

heaptostay

heroxk 发表于 2021-3-14 13:46
是不是说DevSecOps，这个很火。

DevSecOp这个词还是新鲜事物，感谢，学习了。