新足迹 › 论坛 › 澳洲生活区 › 工作学习 › 学习python抓取亚马逊和ebay的数据

精华好帖回顾
· Congratulation Steve ! (2008-1-15) leeshine	· 发哥说刀：刀的那些事儿！品牌，选材，工艺，文化 -- 3月6日再更新！ (2010-2-17) 乘物以游心
· Michael Jackson 超白金歌曲（87楼起有奖竞猜！10月31日截止） (2008-9-4) steveking	· 从中国到澳洲，挨踢10年中国篇（全文完）－10月22日更新随笔312楼 (2009-9-7) Melbourner1978

查看: 4180|回复: 23

[IT] 学习python抓取亚马逊和ebay的数据 [复制链接]

billspace

铜靴族

发表于 2019-8-8 12:51 |显示全部楼层

此文章由 billspace 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 billspace 所有！转贴必须注明作者、出处和本声明，并保持内容完整

最近在学习python，想通过这个工具抓取一些重要的销售数据。有一起学习的没有。

xmj

皮靴族

发表于 2019-8-8 12:54 |显示全部楼层

此文章由 xmj 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 xmj 所有！转贴必须注明作者、出处和本声明，并保持内容完整

你想抓具体什么数据

billspace

铜靴族

发表于 2019-8-8 13:07 |显示全部楼层

此文章由 billspace 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 billspace 所有！转贴必须注明作者、出处和本声明，并保持内容完整

Python只能抓网页上的数据，比如销售数据。

billspace

铜靴族

发表于 2019-8-8 13:08 |显示全部楼层

此文章由 billspace 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 billspace 所有！转贴必须注明作者、出处和本声明，并保持内容完整

还有商品评价。

PussyPenetrator

头像被屏蔽

禁止发言

发表于 2019-8-8 13:51 |显示全部楼层

此文章由 PussyPenetrator 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 PussyPenetrator 所有！转贴必须注明作者、出处和本声明，并保持内容完整

可加微信交流
bitmystery

DDD888

银靴族

发表于 2019-8-8 15:52 |显示全部楼层

此文章由 DDD888 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 DDD888 所有！转贴必须注明作者、出处和本声明，并保持内容完整

billspace 发表于 2019-8-8 12:08
还有商品评价。

我不相信你可以随意抓这两个大公司的网页，当心被人封掉啦，建议下啦

xxmplus

皮靴族

发表于 2019-8-8 15:57 |显示全部楼层

此文章由 xxmplus 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 xxmplus 所有！转贴必须注明作者、出处和本声明，并保持内容完整

DDD888 发表于 2019-8-8 14:52
我不相信你可以随意抓这两个大公司的网页，当心被人封掉啦，建议下啦

买ip来爬就好了

DDD888

银靴族

发表于 2019-8-8 15:59 |显示全部楼层

此文章由 DDD888 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 DDD888 所有！转贴必须注明作者、出处和本声明，并保持内容完整

xxmplus 发表于 2019-8-8 14:57
买ip来爬就好了

但这样一来以后有人想要爬的话，都会遇到啥让你点图片看是否是机器的事啦，给大家造成麻烦啦

Icanflyever

皮靴族

发表于 2019-8-9 01:23 |显示全部楼层

此文章由 Icanflyever 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 Icanflyever 所有！转贴必须注明作者、出处和本声明，并保持内容完整

可以见个群一起学习，之前也在自学，最近被考试耽搁了

valpa

头像被屏蔽

禁止发言

发表于 2019-8-9 09:44 来自手机 |显示全部楼层

此文章由 valpa 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 valpa 所有！转贴必须注明作者、出处和本声明，并保持内容完整

对这个也有兴趣，加个好友吧
jw-xiaodwan

opt2018au

草鞋族

发表于 2019-8-9 14:55 |显示全部楼层

此文章由 opt2018au 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 opt2018au 所有！转贴必须注明作者、出处和本声明，并保持内容完整

好像大网站都有爬取协议，遵循协议别越界应该没问题

评分

参与人数 1	积分 +3	收起理由
billspace	+ 3	感谢分享

查看全部评分

dok

皮靴族

发表于 2019-8-9 21:00 来自手机 |显示全部楼层

此文章由 dok 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 dok 所有！转贴必须注明作者、出处和本声明，并保持内容完整

想要啥数据？

哈尔的移动城堡

木屐族

发表于 2019-8-11 17:09 |显示全部楼层

此文章由哈尔的移动城堡原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者哈尔的移动城堡所有！转贴必须注明作者、出处和本声明，并保持内容完整

以后爬虫可能会有法律限制如果你持有某些网站数据而没有问consent可能会被起诉爬虫需谨慎呀

linzh

皮靴族

发表于 2019-8-26 19:59 |显示全部楼层

此文章由 linzh 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 linzh 所有！转贴必须注明作者、出处和本声明，并保持内容完整

装个selenium+webdriver，只要能看见的东西都能爬，大网站加密做的严的就走这个简单

linzh

皮靴族

发表于 2019-8-27 11:08 |显示全部楼层

此文章由 linzh 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 linzh 所有！转贴必须注明作者、出处和本声明，并保持内容完整

questing 发表于 2019-8-26 22:08
除非你的程序跑得非常慢，否则这些大的网站都会检测到机器人并开始要求验证的 ...

动态加载限访问频率无解呀，
最有效的反爬就是增加爬虫时间成本，
要是对方真的特别防你，数据一大就封IP那谁能爬，

DDD888

银靴族

发表于 2019-8-27 15:32 |显示全部楼层

此文章由 DDD888 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 DDD888 所有！转贴必须注明作者、出处和本声明，并保持内容完整

questing 发表于 2019-8-26 22:08
除非你的程序跑得非常慢，否则这些大的网站都会检测到机器人并开始要求验证的 ...

我开发的网站，检测到机器人就自动封啦

cherylpan

木屐族

发表于 2019-8-28 00:54 |显示全部楼层

此文章由 cherylpan 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 cherylpan 所有！转贴必须注明作者、出处和本声明，并保持内容完整

我也在学，加个微信建个群cherylpan

husky703

草鞋族

发表于 2019-8-28 12:39 |显示全部楼层

此文章由 husky703 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 husky703 所有！转贴必须注明作者、出处和本声明，并保持内容完整

想請問你們怎樣自學的? 網站嗎?

billspace

铜靴族

发表于 2019-8-28 12:55 |显示全部楼层

此文章由 billspace 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 billspace 所有！转贴必须注明作者、出处和本声明，并保持内容完整

把python学了一下。有编程基础的，python的基础语法学起来非常简单。python最重要的是周边的library。

fengliu1234

白金靴族

发表于 2019-8-28 12:57 |显示全部楼层

此文章由 fengliu1234 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 fengliu1234 所有！转贴必须注明作者、出处和本声明，并保持内容完整

关注

有机六兽

皮靴族

发表于 2019-8-28 23:41 来自手机 |显示全部楼层

此文章由有机六兽原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者有机六兽所有！转贴必须注明作者、出处和本声明，并保持内容完整

billspace 发表于 2019-8-28 11:55
把python学了一下。有编程基础的，python的基础语法学起来非常简单。python最重要的是周边的library。 ...

同意要了解各种lib比较花费时间

wesley4356

光脚族

发表于 2019-10-12 21:57 |显示全部楼层

此文章由 wesley4356 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 wesley4356 所有！转贴必须注明作者、出处和本声明，并保持内容完整

我也在学python

bfcatfriends

皮靴族

发表于 2019-10-14 13:54 |显示全部楼层

此文章由 bfcatfriends 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 bfcatfriends 所有！转贴必须注明作者、出处和本声明，并保持内容完整

请问有本站不支持任何群吗？私信我吧，想加入你们群。也在研究爬虫

地球是圆的

草鞋族

发表于 2019-10-14 17:44 |显示全部楼层

此文章由地球是圆的原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者地球是圆的所有！转贴必须注明作者、出处和本声明，并保持内容完整

爬的好能找到正经工作吗？

返回列表

		自动登录	找回密码
密码			注册

精华好帖回顾

[IT] 学习python抓取亚马逊和ebay的数据 [复制链接]

评分

发表回复