设为首页收藏本站
切换到简单版切换到宽版

新足迹

 找回密码
 注册
新足迹 › 论坛 › 澳洲生活区 › 工作学习 › 爬取网站数据是否合法？

精华好帖回顾

· 用旅游的心情生活在这座城（有好看的片片哦） (2005-1-29) bandf · 十年前的旧车票 (2009-6-7) astina
· 纸牌游戏 (2011-6-7) 暖茶 · 疫情之前最后一次旅行 - 日本十回目 (2020-8-21) joaquin
Advertisement
Advertisement
返回列表 发新帖
查看: 2312|回复: 16

[IT] 爬取网站数据是否合法？ [复制链接]

stephen_lee

发表于 2020-8-23 17:50 |显示全部楼层
此文章由 stephen_lee 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 stephen_lee 所有！转贴必须注明作者、出处和本声明，并保持内容完整
个人打算做一个业务平台，数据从相关网站公开的数据爬取，不知道这样是否合法？ 有没有风险？
Advertisement
Advertisement

举报

HISOKA

发表于 2020-8-23 18:01 |显示全部楼层
此文章由 HISOKA 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 HISOKA 所有！转贴必须注明作者、出处和本声明，并保持内容完整
你有本事可以爬 但是大概率会被封ip

举报

stephen_lee

发表于 2020-8-23 18:08 |显示全部楼层
此文章由 stephen_lee 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 stephen_lee 所有！转贴必须注明作者、出处和本声明，并保持内容完整
HISOKA 发表于 2020-8-23 17:01
你有本事可以爬 但是大概率会被封ip

我个人理解是爬虫本身并不非法，前提是爬的公开数据，不是涉及安全隐私的数据。你说的没错，网站方不会喜欢

举报

BreakingBad

退役斑竹 2017年度勋章

发表于 2020-8-23 18:29 |显示全部楼层
此文章由 BreakingBad 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 BreakingBad 所有！转贴必须注明作者、出处和本声明，并保持内容完整
花钱请你帮忙爬了数据，科研经费是否给报销是个问题

举报

neilmao

发表于 2020-8-23 18:32 |显示全部楼层
此文章由 neilmao 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 neilmao 所有！转贴必须注明作者、出处和本声明，并保持内容完整
robots.txt   会告诉你让不让 如果不让硬爬有风险

举报

stephen_lee

发表于 2020-8-23 18:36 |显示全部楼层
此文章由 stephen_lee 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 stephen_lee 所有！转贴必须注明作者、出处和本声明，并保持内容完整
BreakingBad 发表于 2020-8-23 17:29
花钱请你帮忙爬了数据，科研经费是否给报销是个问题

请问什么意思？ 没太明白
Advertisement
Advertisement

举报

stephen_lee

发表于 2020-8-23 18:58 |显示全部楼层
此文章由 stephen_lee 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 stephen_lee 所有！转贴必须注明作者、出处和本声明，并保持内容完整
neilmao 发表于 2020-8-23 17:32
robots.txt   会告诉你让不让 如果不让硬爬有风险

谢谢，我看看

举报

gifox

发表于 2020-8-24 11:02 来自手机 |显示全部楼层
此文章由 gifox 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 gifox 所有！转贴必须注明作者、出处和本声明，并保持内容完整
楼主你学爬网课的时候已经有解释了。
我记得我那时学，第一节课就是说这个。什么可以爬，什么不可以

你去看网站的robot协议

举报

stephen_lee

发表于 2020-8-24 13:04 来自手机 |显示全部楼层
此文章由 stephen_lee 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 stephen_lee 所有！转贴必须注明作者、出处和本声明，并保持内容完整
gifox 发表于 2020-8-24 10:02
楼主你学爬网课的时候已经有解释了。
我记得我那时学，第一节课就是说这个。什么可以爬，什么不可以


谢谢

举报

DDD888

发表于 2020-8-24 13:20 |显示全部楼层
此文章由 DDD888 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 DDD888 所有！转贴必须注明作者、出处和本声明，并保持内容完整
不要爬了，每次登陆ebay,总要测试我是否是robot,太烦人啦

举报

stephen_lee

发表于 2020-8-24 17:08 |显示全部楼层
此文章由 stephen_lee 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 stephen_lee 所有！转贴必须注明作者、出处和本声明，并保持内容完整
DDD888 发表于 2020-8-24 12:20
不要爬了，每次登陆ebay,总要测试我是否是robot,太烦人啦

ebay那个是防止刷单的吧？
Advertisement
Advertisement

举报

doushifuyun
头像被屏蔽

禁止发言
发表于 2020-8-24 17:09 |显示全部楼层
此文章由 doushifuyun 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 doushifuyun 所有！转贴必须注明作者、出处和本声明，并保持内容完整
DDD888 发表于 2020-8-24 12:20
不要爬了，每次登陆ebay,总要测试我是否是robot,太烦人啦

人家说的和你这个不是一会儿事。

举报

madha

发表于 2020-8-24 17:14 |显示全部楼层
此文章由 madha 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 madha 所有！转贴必须注明作者、出处和本声明，并保持内容完整
爬取合法，但是对方为了防止爬取会做各种防爬的设计。 反正就是2个程序员之间的巅峰对决，看盾厉害还是矛厉害了

举报

DDD888

发表于 2020-8-24 19:24 |显示全部楼层
此文章由 DDD888 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 DDD888 所有！转贴必须注明作者、出处和本声明，并保持内容完整
stephen_lee 发表于 2020-8-24 16:08
ebay那个是防止刷单的吧？

不懂，反正就是让我增加麻烦，非常痛恨，以前没有的操作啦

举报

DDD888

发表于 2020-8-24 19:25 |显示全部楼层
此文章由 DDD888 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 DDD888 所有！转贴必须注明作者、出处和本声明，并保持内容完整
madha 发表于 2020-8-24 16:14
爬取合法，但是对方为了防止爬取会做各种防爬的设计。 反正就是2个程序员之间的巅峰对决，看盾厉害还是矛厉 ...

就是拥有数据的公司加个自动识别robot的界面啦

举报

chem_1989

发表于 2020-8-24 21:48 |显示全部楼层
此文章由 chem_1989 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 chem_1989 所有！转贴必须注明作者、出处和本声明，并保持内容完整
上次有个人爬我网站让我block了
烦 看到就想揍
Advertisement
Advertisement

举报

DDD888

发表于 2020-8-25 09:42 |显示全部楼层
此文章由 DDD888 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 DDD888 所有！转贴必须注明作者、出处和本声明，并保持内容完整
chem_1989 发表于 2020-8-24 20:48
上次有个人爬我网站让我block了
烦 看到就想揍

我给我老板开发的网站每天都有许多人坐在电脑前手工拿数据，都给我自动封了

举报

返回列表 发新帖

发表回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Advertisement
Advertisement
返回顶部