有做机器学习方面的高手吗

woshidajiangyou

我把andrew ng的机器学习和yaser的learning from data都看了一遍，感觉真是难懂，主要是数学方面的
实际工作中（非大学里的研究工作），一般会涉及到什么层次？比如神经网络和svm，是底层到矩阵运算，还是把这些算法当作黑盒使用？而无需理解这些算法的内部实现？

浮云马

举个例子，码农都会用数据库，有几个真正知道b+ tree的内部实现的？

eguan88

这年头码农都是到处找code当黑盒子用。

klux

都可以啊，你当黑盒用，那你就是一个黑盒层次的码农
你搞清了背后的算法，那你就是一个算法层次的码农
取决于你的目标咯

ilovetudou

楼主能不能把你说的那本书发我一个？自己想看看

jacey

eguan88 发表于 2016-4-5 07:41
这年头码农都是到处找code当黑盒子用。

这年头厨子都是到处找屠宰好的肉,磨好的面,种好的菜, 做美食...

cnnworld

1. 实际应用中，算法基本都是黑盒，只要会代码就基本OK

2. 但难点是调优，因为要调优，你就必须理解算法的一些细节，比如SVM的算法，本质上是处理线性可分的样本，如果你用它来处理一个非线性的实例，就需要做转换，于是有了kernel SVM这一说，另外svm的解法其实是个二次规划问题，这些细节都会影响到你最后使用SVM的效果。另外如果为了增加容错，需要有个slack variable， 这个东西到底是什么，你不理解的话你如何理解api里面的参数？就拿一个SVM来说，同样的算法包，不同的人做出来最后的准确率是不同的，有时区别很大。

3. 一般说起来，做机器学习，技能上，80%是你对软件的熟练使用（包括各种程序包），但对于算法的理解，你至少也要懂40%-60%的深度，对大多数人的门槛，其实是后者，因为了解40%有时也不是那么容易的。

cnnworld

浮云马 发表于 2016-4-5 07:19
举个例子，码农都会用数据库，有几个真正知道b+ tree的内部实现的？

数据库访问角度看：

1. 实现某个单机版功能的，需要懂基本的SQL

2. 实现某个单机版复杂功能的，需要有较强的SQL技巧，这就需要对数据库有较深的理解，至少知道index，知道sql调优的一些技巧，不然为了一个同样的结果，有些query是timeout然后fail，有些query是可以被执行。

3. 实现分布式功能的，就需要读写分离，主从复制，分库分表。这就需要对数据库有更深的理解。

所以你说的码农都会用数据库，我敢说，“会用” 这个词，不是每个人敢这么说的。 机器学习也是如此，你copy一段代码，跑一下，得到一个结果不难，难就在细节里面。

不过未来的趋势是机器越来越聪明，目前的深度学习就在往这个方向发展，到时候也许真不需要任何模型调优方面的技巧了，甚至一切都统一了，不过估计我们这一代，还是很难实现的。因为理论上，机器人都可以取代人类。

whoisit

cnnworld 发表于 2016-4-6 17:02
1. 实际应用中，算法基本都是黑盒，只要会代码就基本OK

2. 但难点是调优，因为要调优，你就必须理解算法 ...

数据行业是不是每周都得oral presentation啊还是写report就行？要是口语不大好还做不了呢

woshidajiangyou

ilovetudou 发表于 2016-4-5 15:44
楼主能不能把你说的那本书发我一个？自己想看看

https://www.coursera.org/learn/machine-learning
https://work.caltech.edu/telecourse.html

这两门课应该是公认的机器学习最佳入门课程

HISOKA

andrew ng的课程不错

xji

实际上，扣底层实现原理的人不如拿黑盒来用的人混得好。拿黑盒做模型的人不如懂业务有人脉会来事的人混得好。到头来，你会发现，一个懂点业务能说会道和上面关系又好的人管着一帮懂黑白盒的技术人士，而这个头头对这些东西连皮毛都不懂。但是头衔上扣着分析建模团队senior manager。

浮云马

cnnworld 发表于 2016-4-6 17:10
数据库访问角度看：

1. 实现某个单机版功能的，需要懂基本的SQL

接着你的例子来说，我想运行一个sql query。这么简单的要求，会有多难呢？

1. data scientist
会写SQL，拿到想要的结果就可以了

2. data engineer
需要把原始数据收集起来，ETL到数据库里，供data scientist使用

3.DBA
数据库怎么设计？要不要partition，要不要high available，各种数据库的参数设置，性能调优

4. infrastructure engineer
数据库在什么样的vm上跑？要不要fusion io？replication需要什么样的网络配置？

这个例子可以无限延长下去。

cross function重不重要？很重要。data scientist懂一点etl，可能只有10%，已经可以让他在没有data engineer的时候能继续工作下去。但是，生也有涯，知也无涯，花大量的精力去精通etl是不是对的？我觉得不是，因为你的职位是data scientist不是data engineer，从数据里给出business insight才是你的本职工作。

浮云马

xji 发表于 2016-4-7 03:58
实际上，扣底层实现原理的人不如拿黑盒来用的人混得好。拿黑盒做模型的人不如懂业务有人脉会来事的人混得好 ...

你说对了，因为头头的本职工作不是建模，而是向他的老板陈述建模的重要性，拿funding找懂得建模的人去建模

jacey

chainray

stackoverflow能解决你8成以上的问题

kr2000

浮云马 发表于 2016-4-7 07:32
接着你的例子来说，我想运行一个sql query。这么简单的要求，会有多难呢？

1. data scientist

写sql拿结果的职位应该叫data analyst
data scientist也许不用花太多时间去学怎么收集数据，但是理解不理解底层建模的算法确实是个重要的标准。

autumncame

楼上的都在做数据工作？ 悉尼情况如何？

imagetech

cnnworld 发表于 2016-4-6 17:10
数据库访问角度看：

1. 实现某个单机版功能的，需要懂基本的SQL

学习了

Shark-AU

kr2000 发表于 2016-4-7 11:33
写sql拿结果的职位应该叫data analyst
data scientist也许不用花太多时间去学怎么收集数据，但是理解不 ...

感觉土澳 data scientist 和 data analyst 没区别
大部分是打着 data scientist/data analyst 的做简单数据分析出报告的

autumncame

Shark-AU 发表于 2017-8-8 10:12
感觉土澳 data scientist 和 data analyst 没区别
大部分是打着 data scientist/data analyst 的做简单数 ...

感觉大部分公司都这样吧

一条大鱼

cnnworld 发表于 2016-4-6 17:02
1. 实际应用中，算法基本都是黑盒，只要会代码就基本OK

2. 但难点是调优，因为要调优，你就必须理解算法 ...

请教，既然是黑盒，如何调优？

很多编程语言不开源，开源的如何快速理解源代码？

dogdogkun

一条大鱼 发表于 2017-8-12 23:08
请教，既然是黑盒，如何调优？

很多编程语言不开源，开源的如何快速理解源代码？ ...

黑盒也需要输入参数，还有你输入的数据如何做transformation，搜索参数空间也有不同的技巧grid search还是bayesian
不需要理解源代码，但需要了解背后的ML数学模型，那些模型参数代表什么

ilovebanana

我们现在在做很多应用的开发，有兴趣可以联系我大家闲扯

Fernando

浮云马 发表于 2016-4-7 07:32
接着你的例子来说，我想运行一个sql query。这么简单的要求，会有多难呢？

1. data scientist

合理的分工在所有这些startup，新兴前沿发展是不存在的。新领域必定是牛人全包类型的，能力短板多了出不了结果。合理分工只有在这个领域成熟以后才能实现，成熟就意味着人多，收入下降。

zy45

日常工作里基本就是调包用，不用太在意里面是如何工作的，神经网络特别是深度学习也基本没人解释得清楚里面的具体含义，实际应用时主要是如何调参数，如何预处理数据，这些都得靠经验

zy45

Shark-AU 发表于 2017-8-8 10:12
感觉土澳 data scientist 和 data analyst 没区别
大部分是打着 data scientist/data analyst 的做简单数 ...

商业领域基本都这样。。。