新足迹 › 论坛 › 兴趣爱好区 › IT与科技 › IT专业论坛 › 求推荐数据抓取的framework

精华好帖回顾
· 果酸大概论及几个明星产品的评价 (2007-1-21) 飞行	· VCE 高考生的学习经验 4楼（考场如战场，也要讲天时地利人和）填坑完毕 (2013-3-21) 冬迹之樱
· 熊猫厨房--虾作！做虾（美极烤大虾，避风塘炒虾，小茴香油泡虾，茶盐焗虾）~~~~~付详细做法 (2014-11-13) 小白的熊猫	· One World One Dream 历届奥运会主题歌曲(新增#21起悉尼奥运会开闭幕式所有歌曲) (2008-7-28) steveking

查看: 4512|回复: 9

求推荐数据抓取的framework [复制链接]

nuptwg

皮靴族

发表于 2015-4-19 17:16 |显示全部楼层

此文章由 nuptwg 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 nuptwg 所有！转贴必须注明作者、出处和本声明，并保持内容完整

想要找一个成熟一点的数据抓取framework， python 或者ruby 最好。

waynepublic

金靴族

发表于 2015-4-19 17:38 |显示全部楼层

此文章由 waynepublic 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 waynepublic 所有！转贴必须注明作者、出处和本声明，并保持内容完整

你指的是screen scraping?

rse43

布鞋族

发表于 2015-4-19 23:45 |显示全部楼层

此文章由 rse43 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 rse43 所有！转贴必须注明作者、出处和本声明，并保持内容完整

http://scrapy.org/

评分

参与人数 3	积分 +4	收起理由
gzrain	+ 2	感谢分享
nuptwg	+ 1	谢谢推荐
stanlivss	+ 1	感谢分享

查看全部评分

findcaiyzh

银靴族

发表于 2015-4-20 11:03 |显示全部楼层

此文章由 findcaiyzh 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 findcaiyzh 所有！转贴必须注明作者、出处和本声明，并保持内容完整

Selenium IDE firefox下的类似于脚本的工具，也有各种语言的接口:
https://addons.mozilla.org/en-us ... xpert-selenium-ide/

nuptwg

皮靴族

发表于 2015-4-20 23:03 |显示全部楼层

此文章由 nuptwg 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 nuptwg 所有！转贴必须注明作者、出处和本声明，并保持内容完整

waynepublic 发表于 2015-4-19 16:38
你指的是screen scraping?

差不多，不过是api层次的数据抓取

gzrain

皮靴族

发表于 2015-4-22 01:20 |显示全部楼层

此文章由 gzrain 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 gzrain 所有！转贴必须注明作者、出处和本声明，并保持内容完整

rse43 发表于 2015-4-19 22:45
http://scrapy.org/

这个是python的吧，不知道对js支持怎么样？我们也有类似需求，现在用casperJS

rse43

布鞋族

发表于 2015-4-22 14:02 |显示全部楼层

此文章由 rse43 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 rse43 所有！转贴必须注明作者、出处和本声明，并保持内容完整

gzrain 发表于 2015-4-22 00:20
这个是python的吧，不知道对js支持怎么样？我们也有类似需求，现在用casperJS

...

scrapy侧重于高并发下的HTML抓取，并不真正渲染页面。

类似casperJS，phantomJS这种需要把HTML和Javascript丢到webkit引擎里渲染，效率不会太高，更多用于测试用途。

nuptwg

皮靴族

发表于 2015-4-22 18:40 |显示全部楼层

此文章由 nuptwg 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 nuptwg 所有！转贴必须注明作者、出处和本声明，并保持内容完整

rse43 发表于 2015-4-22 13:02
scrapy侧重于高并发下的HTML抓取，并不真正渲染页面。

类似casperJS，phantomJS这种需要把HTML和Javascr ...

不要去渲染页面，只是用于数据聚合和再利用。

gzrain

皮靴族

发表于 2015-4-23 00:58 |显示全部楼层

此文章由 gzrain 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 gzrain 所有！转贴必须注明作者、出处和本声明，并保持内容完整

rse43 发表于 2015-4-22 13:02
scrapy侧重于高并发下的HTML抓取，并不真正渲染页面。

类似casperJS，phantomJS这种需要把HTML和Javascr ...

我们的页面，要点击/输入好几个step才能达到，同时可能要等待ajax request返回动态页面，所以我们才选用casperJS，用js promises 的sucess/failure 结果进行下一个step的操作；

这个scrapy 看主页似乎直接调取html，不知道对动态页面支持如何？

audreamer

铜靴族

发表于 2015-5-4 00:12 |显示全部楼层

此文章由 audreamer 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 audreamer 所有！转贴必须注明作者、出处和本声明，并保持内容完整

直接用WinHttp.WinHttpRequest.5.1吧，灵活点，就是要自己manipulate raw data而已

返回列表

		自动登录	找回密码
密码			注册

精华好帖回顾

求推荐数据抓取的framework [复制链接]

评分

发表回复

浏览过的版块