新足迹 › 论坛 › 兴趣爱好区 › IT与科技 › IT专业论坛 › 求推荐数据抓取的framework

精华好帖回顾
· 关于少年的一切。 (2008-10-15) 华丽丽的那个谁	· 养老金（Age Pension） 10 年居住要求（Age pension 已获批，更新了养老金计算器2020年数据） (2014-4-9) 小豹子
· 双职工家庭的福音之二辣的开心正宗酸菜鱼 (2005-3-23) binbingogo	· 澳洲育儿经 (2004-12-29) 茉莉桔香

查看: 4451|回复: 9

求推荐数据抓取的framework [复制链接]

nuptwg

皮靴族

发表于 2015-4-19 17:16 |显示全部楼层

此文章由 nuptwg 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 nuptwg 所有！转贴必须注明作者、出处和本声明，并保持内容完整

想要找一个成熟一点的数据抓取framework， python 或者ruby 最好。

waynepublic

金靴族

发表于 2015-4-19 17:38 |显示全部楼层

此文章由 waynepublic 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 waynepublic 所有！转贴必须注明作者、出处和本声明，并保持内容完整

你指的是screen scraping?

rse43

布鞋族

发表于 2015-4-19 23:45 |显示全部楼层

此文章由 rse43 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 rse43 所有！转贴必须注明作者、出处和本声明，并保持内容完整

http://scrapy.org/

评分

参与人数 3	积分 +4	收起理由
gzrain	+ 2	感谢分享
nuptwg	+ 1	谢谢推荐
stanlivss	+ 1	感谢分享

查看全部评分

findcaiyzh

银靴族

发表于 2015-4-20 11:03 |显示全部楼层

此文章由 findcaiyzh 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 findcaiyzh 所有！转贴必须注明作者、出处和本声明，并保持内容完整

Selenium IDE firefox下的类似于脚本的工具，也有各种语言的接口:
https://addons.mozilla.org/en-us ... xpert-selenium-ide/

nuptwg

皮靴族

发表于 2015-4-20 23:03 |显示全部楼层

此文章由 nuptwg 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 nuptwg 所有！转贴必须注明作者、出处和本声明，并保持内容完整

waynepublic 发表于 2015-4-19 16:38
你指的是screen scraping?

差不多，不过是api层次的数据抓取

gzrain

皮靴族

发表于 2015-4-22 01:20 |显示全部楼层

此文章由 gzrain 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 gzrain 所有！转贴必须注明作者、出处和本声明，并保持内容完整

rse43 发表于 2015-4-19 22:45
http://scrapy.org/

这个是python的吧，不知道对js支持怎么样？我们也有类似需求，现在用casperJS

rse43

布鞋族

发表于 2015-4-22 14:02 |显示全部楼层

此文章由 rse43 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 rse43 所有！转贴必须注明作者、出处和本声明，并保持内容完整

gzrain 发表于 2015-4-22 00:20
这个是python的吧，不知道对js支持怎么样？我们也有类似需求，现在用casperJS

...

scrapy侧重于高并发下的HTML抓取，并不真正渲染页面。

类似casperJS，phantomJS这种需要把HTML和Javascript丢到webkit引擎里渲染，效率不会太高，更多用于测试用途。

nuptwg

皮靴族

发表于 2015-4-22 18:40 |显示全部楼层

此文章由 nuptwg 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 nuptwg 所有！转贴必须注明作者、出处和本声明，并保持内容完整

rse43 发表于 2015-4-22 13:02
scrapy侧重于高并发下的HTML抓取，并不真正渲染页面。

类似casperJS，phantomJS这种需要把HTML和Javascr ...

不要去渲染页面，只是用于数据聚合和再利用。

gzrain

皮靴族

发表于 2015-4-23 00:58 |显示全部楼层

此文章由 gzrain 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 gzrain 所有！转贴必须注明作者、出处和本声明，并保持内容完整

rse43 发表于 2015-4-22 13:02
scrapy侧重于高并发下的HTML抓取，并不真正渲染页面。

类似casperJS，phantomJS这种需要把HTML和Javascr ...

我们的页面，要点击/输入好几个step才能达到，同时可能要等待ajax request返回动态页面，所以我们才选用casperJS，用js promises 的sucess/failure 结果进行下一个step的操作；

这个scrapy 看主页似乎直接调取html，不知道对动态页面支持如何？

audreamer

铜靴族

发表于 2015-5-4 00:12 |显示全部楼层

此文章由 audreamer 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 audreamer 所有！转贴必须注明作者、出处和本声明，并保持内容完整

直接用WinHttp.WinHttpRequest.5.1吧，灵活点，就是要自己manipulate raw data而已

返回列表

		自动登录	找回密码
密码			注册

精华好帖回顾

求推荐数据抓取的framework [复制链接]

评分

发表回复

浏览过的版块