设为首页收藏本站

切换到简单版切换到宽版

新足迹 › 论坛 › 澳洲生活区 › 工作学习 › 爬取网站数据是否合法？

精华好帖回顾
· 美食接龙－木犀肉－CCTANG接招－木耳啊木耳！ (2008-8-4) 旋木	· 带宝宝参加playgroup吧！playgroup全记录+寻找渠道！附具体联系方式！多图+超长文！ (2011-7-12) 海边小妹
· 新移民租房记 (2007-8-10) zhanglei	· 跌跌撞撞HPT一次通过，喜一个！ (2006-11-10) fantergaruo

Advertisement

Advertisement

发新帖

查看: 2266|回复: 16

[IT] 爬取网站数据是否合法？ [复制链接]

发表于 2020-8-23 17:50 |显示全部楼层

此文章由 stephen_lee 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 stephen_lee 所有！转贴必须注明作者、出处和本声明，并保持内容完整

个人打算做一个业务平台，数据从相关网站公开的数据爬取，不知道这样是否合法？有没有风险？

Advertisement

Advertisement

发表于 2020-8-23 18:01 |显示全部楼层

此文章由 HISOKA 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 HISOKA 所有！转贴必须注明作者、出处和本声明，并保持内容完整

你有本事可以爬但是大概率会被封ip

发表于 2020-8-23 18:08 |显示全部楼层

此文章由 stephen_lee 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 stephen_lee 所有！转贴必须注明作者、出处和本声明，并保持内容完整

HISOKA 发表于 2020-8-23 17:01
你有本事可以爬但是大概率会被封ip

我个人理解是爬虫本身并不非法，前提是爬的公开数据，不是涉及安全隐私的数据。你说的没错，网站方不会喜欢

发表于 2020-8-23 18:29 |显示全部楼层

此文章由 BreakingBad 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 BreakingBad 所有！转贴必须注明作者、出处和本声明，并保持内容完整

花钱请你帮忙爬了数据，科研经费是否给报销是个问题

发表于 2020-8-23 18:32 |显示全部楼层

此文章由 neilmao 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 neilmao 所有！转贴必须注明作者、出处和本声明，并保持内容完整

robots.txt 会告诉你让不让如果不让硬爬有风险

发表于 2020-8-23 18:36 |显示全部楼层

此文章由 stephen_lee 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 stephen_lee 所有！转贴必须注明作者、出处和本声明，并保持内容完整

BreakingBad 发表于 2020-8-23 17:29
花钱请你帮忙爬了数据，科研经费是否给报销是个问题

请问什么意思？没太明白

Advertisement

Advertisement

发表于 2020-8-23 18:58 |显示全部楼层

此文章由 stephen_lee 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 stephen_lee 所有！转贴必须注明作者、出处和本声明，并保持内容完整

neilmao 发表于 2020-8-23 17:32
robots.txt 会告诉你让不让如果不让硬爬有风险

谢谢，我看看

发表于 2020-8-24 11:02 来自手机 |显示全部楼层

此文章由 gifox 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 gifox 所有！转贴必须注明作者、出处和本声明，并保持内容完整

楼主你学爬网课的时候已经有解释了。
我记得我那时学，第一节课就是说这个。什么可以爬，什么不可以

你去看网站的robot协议

发表于 2020-8-24 13:04 来自手机 |显示全部楼层

此文章由 stephen_lee 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 stephen_lee 所有！转贴必须注明作者、出处和本声明，并保持内容完整

gifox 发表于 2020-8-24 10:02
楼主你学爬网课的时候已经有解释了。
我记得我那时学，第一节课就是说这个。什么可以爬，什么不可以

谢谢

发表于 2020-8-24 13:20 |显示全部楼层

此文章由 DDD888 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 DDD888 所有！转贴必须注明作者、出处和本声明，并保持内容完整

不要爬了，每次登陆ebay,总要测试我是否是robot,太烦人啦

发表于 2020-8-24 17:08 |显示全部楼层

此文章由 stephen_lee 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 stephen_lee 所有！转贴必须注明作者、出处和本声明，并保持内容完整

DDD888 发表于 2020-8-24 12:20
不要爬了，每次登陆ebay,总要测试我是否是robot,太烦人啦

ebay那个是防止刷单的吧？

Advertisement

Advertisement

头像被屏蔽

发表于 2020-8-24 17:09 |显示全部楼层

此文章由 doushifuyun 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 doushifuyun 所有！转贴必须注明作者、出处和本声明，并保持内容完整

DDD888 发表于 2020-8-24 12:20
不要爬了，每次登陆ebay,总要测试我是否是robot,太烦人啦

人家说的和你这个不是一会儿事。

发表于 2020-8-24 17:14 |显示全部楼层

此文章由 madha 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 madha 所有！转贴必须注明作者、出处和本声明，并保持内容完整

爬取合法，但是对方为了防止爬取会做各种防爬的设计。反正就是2个程序员之间的巅峰对决，看盾厉害还是矛厉害了

发表于 2020-8-24 19:24 |显示全部楼层

此文章由 DDD888 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 DDD888 所有！转贴必须注明作者、出处和本声明，并保持内容完整

stephen_lee 发表于 2020-8-24 16:08
ebay那个是防止刷单的吧？

不懂，反正就是让我增加麻烦，非常痛恨，以前没有的操作啦

发表于 2020-8-24 19:25 |显示全部楼层

此文章由 DDD888 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 DDD888 所有！转贴必须注明作者、出处和本声明，并保持内容完整

madha 发表于 2020-8-24 16:14
爬取合法，但是对方为了防止爬取会做各种防爬的设计。反正就是2个程序员之间的巅峰对决，看盾厉害还是矛厉 ...

就是拥有数据的公司加个自动识别robot的界面啦

发表于 2020-8-24 21:48 |显示全部楼层

此文章由 chem_1989 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 chem_1989 所有！转贴必须注明作者、出处和本声明，并保持内容完整

上次有个人爬我网站让我block了
烦看到就想揍

Advertisement

Advertisement

发表于 2020-8-25 09:42 |显示全部楼层

此文章由 DDD888 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 DDD888 所有！转贴必须注明作者、出处和本声明，并保持内容完整

chem_1989 发表于 2020-8-24 20:48
上次有个人爬我网站让我block了
烦看到就想揍

我给我老板开发的网站每天都有许多人坐在电脑前手工拿数据，都给我自动封了

发新帖

发表回复

Advertisement

Advertisement

关于我们|Archiver|手机版|隐私政策|

Copyright © 2008-2025 新足迹版权所有 All Rights Reserved.

返回顶部