机器学习

mzbac

DDD888 发表于 2017-12-18 13:34
那还不如用你的台式机，当然速度和gpu比起来极慢，我用过我的笔记本，含有8gb ram,cpu计算i7第三代，很慢 ...

这是机器学习还是学习机器？ 本末倒置...

excellentsyt

DDD888 发表于 2017-12-18 13:34
那还不如用你的台式机，当然速度和gpu比起来极慢，我用过我的笔记本，含有8gb ram,cpu计算i7第三代，很慢 ...

用Google Cloud有几个好处:
1. 我觉得最大的好处是, 你可以用到他们已有的Models, 并且在这些model的基础之上train你自己的model. 比如Google Cloud提供了Inception classifier用于classify图片, 这个model是经过了1.2M的图片超过1000种的分类来train的, Training Inception took about two weeks on a fast desktop with 8 GPUs. 如果你想自己来搞恐怕不是单单硬件的问题了.

2. 除非你有一台dedicated电脑用来训练你的model, 比如你的笔记本. 在这段时间内, 你是不能或者不建议用它来做其他事情的. 我多年前曾用我的笔记本跑过一个神经网络, 那时cloud还没有普及, 是一个大公司的实验项目, 机器跑了快两天还没有停的意思, 后来我就直接ctrl + c了. 因为我还要我的电脑做很多事情:). 但是有了Cloud, 就没有这个问题了.

3. 即使你买了顶级的GPU, 你会不会觉得这是一种浪费, 假设你一开始不是很专业, 其实稍差一点的GPU也是可以的.

4. 存储空间. 比如上面的例子, 你自己想train出来属于你自己的inception classifier. 你需要1.2M * 300K = 360T 的存储空间(假设一张图片300K, 如果我算术正确:)). 但是在Google Cloud上你只需分配一个bucket在GCS上, 一个类似AWS S3的东西. 而且存储空间是很便宜的.

感谢讨论:)!

DDD888

mzbac 发表于 2017-12-18 13:58
这是机器学习还是学习机器？ 本末倒置...

看不懂你想说啥

DDD888

excellentsyt 发表于 2017-12-18 14:34
用Google Cloud有几个好处:
1. 我觉得最大的好处是, 你可以用到他们已有的Models, 并且在这些model的基础 ...

我没用过云来作ai计算，不知道啦

我有免费amazon aws ec2服务器instance,但运算能力很低，不是作ai用的，是用来玩玩的

我买的是性价比还可以，价格我能承受的gtx 1070，咬了下牙买的，我从未用此卡打过游戏啦，装的是ubuntu linux，扔在我车库里运行啦

DDD888

excellentsyt 发表于 2017-12-18 14:34
用Google Cloud有几个好处:
1. 我觉得最大的好处是, 你可以用到他们已有的Models, 并且在这些model的基础 ...

诚实的说，我准备300张训练图片都累死我了，你还说要准备一百万张图片:-)

mzbac

DDD888 发表于 2017-12-18 18:50
看不懂你想说啥

看不懂就对了， 猜你也看不懂.. 同上的太业余.

DDD888

mzbac 发表于 2017-12-19 09:31
看不懂就对了， 猜你也看不懂.. 同上的太业余.

我说的话你看的懂，你说的话别人看不懂，那你还说啥啊，不如不说

excellentsyt

DDD888 发表于 2017-12-18 18:56
我没用过云来作ai计算，不知道啦

我有免费amazon aws ec2服务器instance,但运算能力很低，不是作ai用的 ...

Warm reminding 你的AWS ec2 t2.micro免费只有一年, 注意到了一年要cancel或者stop, 不然会扣钱, 虽然也没有多少钱 .

DDD888

excellentsyt 发表于 2017-12-19 10:11
Warm reminding 你的AWS ec2 t2.micro免费只有一年, 注意到了一年要cancel或者stop, 不然会扣钱, 虽然也 ...

谢谢你提醒

qingmai

这楼歪的，machine learning 并不是只有 deep learning， deep learning 也不一定非要GPU...，有功夫去折腾硬件还不如多花点时间看看数学和算法。

css2015

非IT人士(虽一直对IT抱有憧憬)，研究生时专供过一段时间统计(用于金融工程)，现在出于兴趣正在自学机器学习。已经refresh了一遍概率论，线性代数和微积分。网上已经听了三门机器学习的课，目前正在学习ensemble methods(感觉这个很关键)。前后断断续续学了一年多了，还没有实际写代码做项目，因为觉得水平还不足以做出有意义的东西。欢迎交流！

epoxboy

css2015 发表于 2017-12-20 00:18
非IT人士(虽一直对IT抱有憧憬)，研究生时专供过一段时间统计(用于金融工程)，现在出于兴趣正在自学机器学习 ...

搞IT的东西多上手没坏处，网上很多现成的东西，社区，自己搞搞小project 会比光看书学理论更快理解的更深

css2015

epoxboy 发表于 2017-12-20 00:31
搞IT的东西多上手没坏处，网上很多现成的东西，社区，自己搞搞小project 会比光看书学理论更快理解的更深 ...

多谢你的建议，可能我给自己设定的目标稍微高了一点，虽然不一定发明新的算法，但希望能灵活的选择，组合和调试各种算法。曾经尝试过在kaggle上面弄点东西，但是发现只能捡别人的东西盲目的乱试。所以后来又回过头来看书去了，呵呵

DDD888

qingmai 发表于 2017-12-19 23:42
这楼歪的，machine learning 并不是只有 deep learning， deep learning 也不一定非要GPU...，有功夫去折腾 ...

先声明，下面的内容离题了，但实在忍不住要回答你的话

那为何google要自己开发硬件TPU来加速machine learning呢？你为何不写信给google告诉他们多研究数学和算法，不要花钱搞硬件算了？

神经网络算法和我在1994年大学四年级时学的算法没啥翻天覆地的变化，还是老的算法，关键是现在硬件gpu强大的多了。

是可以仅用cpu，不用显示卡gpu来学习deep learning，但速度慢呀,你说的话让我想到1998年的时候公司经理说要啥快的计算机，delphi编译时间长没关系，到外面去吸支烟，回来就好了:-)（题外话，我不吸烟）

我是不接受这样的废话，三年前坚持要老板（换了公司）买个32gb ram, ssd的i7 4770来替换i3第一代的台式机来用visual studio开发asp.net mvc网站，老板说用慢的机器写程序好，因为开发出来的软件跑在aud30000的服务器上运行就会象飞一样，但我生命有限，不能等啦，我开发使用的计算机买的多值啊（我帮老板省钱，自己装计算机，说来惭愧，写程序工作22年，只有两家公司要自己装计算机，一个是1995年工作的公司，没办法那时的职称是系统工程师，装计算机也算工作的一部分，当然啦，写程序22年的人装几台电脑也没啥希奇的），给老板写的网站程序开发速度多快啊，关键是客户用了我写的软件开心啊，给老板带入更多的新客户:-)

另外一块显示卡为何如此计较啊？我自己出钱买的，咬咬牙就行了,最好的卡也就usd1000以下

该买的东西，即使自己出钱也是要买的，我八九年前自己出钱就买了30寸的dell显示器，用在工作上写程序，毕竟看起来舒服，一次可以看到更多行的代码啦，现在自豪的拥有三个30寸的dell显示器，当然啦现在30寸的dell显示器和过去比起来稍微便宜了点

DDD888

css2015 发表于 2017-12-20 00:18
非IT人士(虽一直对IT抱有憧憬)，研究生时专供过一段时间统计(用于金融工程)，现在出于兴趣正在自学机器学习 ...

是的，读书好，我就一直在读书:-)

epoxboy

css2015 发表于 2017-12-20 00:41
多谢你的建议，可能我给自己设定的目标稍微高了一点，虽然不一定发明新的算法，但希望能灵活的选择，组合 ...

确实，搞ML, AI, Data Analytics 最终其实拼的就是算法，你的想法没错

epoxboy

DDD888 发表于 2017-12-20 06:49
先声明，下面的内容离题了，但实在忍不住要回答你的话

那为何google要自己开发硬件TPU来加速machine lea ...

兄弟，那哥们的意思包括前面一个兄弟的意思其实你可能没真正理解，大家的意思是现在是云计算的时代，aws/azure/google cloud赋予了我们能够很容易接入并使用强大计算资源的能力，anytime，只需要用你的信用卡简单注册个账号即可，所以当前和今后至少10-15年的趋势来看，硬件对IT和非IT人员的束缚正在被削弱，这也是为什么近两年AI, ML的新公司层出不穷，新业务也应用的很快，所以大家可以专注于算法和模型的研究，不用考虑啥内存，cpu啥的配置，这些东西你在aws上鼠标点几下想要多大就多大，如果你愿意花点钱的话。

当你还在自豪于自己配置的小机器的时候，别人已经在更新优化最新的算法了，你说你是不是需要换换思路了？

Getting Started with Amazon Machine Learning

DDD888

epoxboy 发表于 2017-12-20 08:45
兄弟，那哥们的意思包括前面一个兄弟的意思其实你可能没真正理解，大家的意思是现在是云计算的时代，aws/ ...

谢谢回答，问题是我不愿意多花钱，花钱买块显示卡，是看的见，摸的着的，花在云上，时间过去了，钱就没有了，连一片云彩都摸不到，如果现在学习半途而废了，把卡卖掉，我想有大把人会抢我的旧的gtx 1070卡啦:-)

Reference

I cannot post url links, please use google to search following text "GPU servers for machine learning startups: Cloud vs On-premise?"
Conclusion
Despite the operational challenges with running your own servers he performance and costs alone are more than enough to convince me that on-premise GPU servers is the right way to go.

epoxboy

DDD888 发表于 2017-12-20 08:50
谢谢回答，问题是我不愿意多花钱，花钱买块显示卡，是看的见，摸的着的，花在云上，时间过去了，钱就没有 ...

眼界决定你的高度，点到为止了。

fffighter

DDD888 发表于 2017-12-20 08:50
谢谢回答，问题是我不愿意多花钱，花钱买块显示卡，是看的见，摸的着的，花在云上，时间过去了，钱就没有 ...

如果半途而废了，可以用来挖矿嘛

DDD888

fffighter 发表于 2017-12-20 09:02
如果半途而废了，可以用来挖矿嘛

是的，你说的对，我本来想说的，但怕这是谈学习的帖子，谈赚钱好像没有了书生气:-)

DDD888

问个关于tensorflow placeholder的问题

我试了下，下面两句话在我的程序里一样执行，没有任何区别，为何啊？
yPlaceHolder = tf.placeholder(tf.int64, shape=[None], name='y_')                                                                                          
yPlaceHolder = tf.placeholder(tf.int64, shape=[None, ], name='y_')  

谢谢

DDD888

两个稍微有点区别的tensorflow网络，如果用测试test数据，精度是差不多的，就可以认为这两个网络的性能是差不多的，是吗？
例如下面的测试test accuracy: 0.888，不需要考虑validation accuracy吗？

2017-12-21 10:48:01,622 Epoch  1 of 100 took 3.0s train accuracy: 0.373 error: 2.469 validation accuracy: 0.370 error: 2.451
2017-12-21 10:48:38,978 Epoch 20 of 100 took 2.5s train accuracy: 0.839 error: 0.461 validation accuracy: 0.826 error: 0.487
2017-12-21 10:49:18,238 Epoch 40 of 100 took 2.5s train accuracy: 0.874 error: 0.356 validation accuracy: 0.852 error: 0.399
2017-12-21 10:49:57,505 Epoch 60 of 100 took 2.5s train accuracy: 0.889 error: 0.308 validation accuracy: 0.870 error: 0.358
2017-12-21 10:50:36,800 Epoch 80 of 100 took 2.5s train accuracy: 0.903 error: 0.276 validation accuracy: 0.880 error: 0.339
2017-12-21 10:51:16,131 Epoch 100 of 100 took 2.5s train accuracy: 0.912 error: 0.245 validation accuracy: 0.886 error: 0.320
2017-12-21 10:51:16,131 Total training time: 198s
2017-12-21 10:51:16,131 Start testing the network ...
2017-12-21 10:51:16,231    test accuracy: 0.888
2017-12-21 10:51:16,232    test loss: 0.302
------------------------------------------------------------------------------------------------------------------------------------
另外一个测试结果
2017-12-21 10:59:50,489 Epoch  1 of 100 took 2.4s train accuracy: 0.428 error: 1.876 validation accuracy: 0.424 error: 1.873
2017-12-21 11:00:18,348 Epoch 20 of 100 took 1.9s train accuracy: 0.872 error: 0.373 validation accuracy: 0.858 error: 0.393
2017-12-21 11:00:47,613 Epoch 40 of 100 took 1.9s train accuracy: 0.893 error: 0.304 validation accuracy: 0.881 error: 0.334
2017-12-21 11:01:16,877 Epoch 60 of 100 took 1.9s train accuracy: 0.900 error: 0.278 validation accuracy: 0.896 error: 0.300
2017-12-21 11:01:46,145 Epoch 80 of 100 took 1.9s train accuracy: 0.911 error: 0.258 validation accuracy: 0.898 error: 0.280
2017-12-21 11:02:15,413 Epoch 100 of 100 took 1.9s train accuracy: 0.915 error: 0.242 validation accuracy: 0.903 error: 0.277
2017-12-21 11:02:15,413 Total training time: 148s
2017-12-21 11:02:15,413 Start testing the network ...
2017-12-21 11:02:15,498    test accuracy: 0.902
2017-12-21 11:02:15,499    test loss: 0.279

maojin

epoxboy 发表于 2017-12-20 08:45
兄弟，那哥们的意思包括前面一个兄弟的意思其实你可能没真正理解，大家的意思是现在是云计算的时代，aws/ ...

大哥你用過云服務嗎？花錢不一定比那位同學少。。。。。。而且操作複雜，依賴網絡環境。。。

DDD888

maojin 发表于 2017-12-21 15:54
大哥你用過云服務嗎？花錢不一定比那位同學少。。。。。。而且操作複雜，依賴網絡環境。。。 ...

是呀，我家的计算机给别人在网上用也是叫云服务，搞程序的，关键要知道比性价比啦

卖云服务的，一根网线都会给客户算上帐，再加个labour cost, profit ratio :-)

qingmai

DDD888 发表于 2017-12-20 06:49
先声明，下面的内容离题了，但实在忍不住要回答你的话

那为何google要自己开发硬件TPU来加速machine lea ...

这里的主题是学习machine learning没错吧？google的硬件研发也是为了学习？

在一个以学习machine learning为主题的帖子里，却大篇幅的讨论在GPU, AWS上面的投资，还提到挖矿什么的，不是楼歪是什么？难道你在找工作的时候，简历上会写花多少钱买了什么GPU？

线性代数以及向量空间搞清楚没？PCA和LDA有概念么？能不能分清楚LASSO和ridge regression的区别？都有哪些常用的线性或非线性模型？decision tree的算法是什么？random forest和gradian boost各需要调节什么参数？是否能解释清楚p-value和R-square？会不会设计cross validation？神经网络中有哪些常用的网络结构？节点的激活函数该如何选择？

以上都是很基础的概念，也是相关从业人员需要掌握的。其他的关于擅长R还是Python，习惯用dplyr或pandas，会不会xgboost或是tensorflow，就已经是相对细枝末节了。至于硬件配置，gpu，cpu什么的，我就只能呵呵呵了。

chainray

lz的线性代数忘记得怎么样了

DDD888

qingmai 发表于 2017-12-22 10:42
这里的主题是学习machine learning没错吧？google的硬件研发也是为了学习？

在一个以学习machine learni ...

Talk is cheap. Show me the code.

abd

学习的过程中发现线性代数占很大比重，现在在老老实实上线代课。居然还能看懂，自己都觉着惊奇。

DDD888

qingmai 发表于 2017-12-22 10:42
这里的主题是学习machine learning没错吧？google的硬件研发也是为了学习？

在一个以学习machine learni ...

我感觉每个人都有自己的方法，不必打压别人的想法，你分享自己的想法是好事啦，但也不必说别人的是错的，我想那些伟大的科学家如果活着的话，例如爱因斯坦，就不会到处指责他人的想法，条条道路通罗马啦，在这个快乐的节日到来之前，我们点到为止啦:-)