Python爬虫如何发送实时信息 ？

天朝屁民

编程小白最近开始学python爬虫，爬一个信息实时更新的道路情况网站，网站不定时更新。现在已经实现的程序是每隔5分钟抓取一次，然后发送到邮件。

发现这样会造成许多重复的邮件，没有效率。。。想修改程序实现：一旦网站更新信息才抓取然后发送，然后爬虫监测直到下一个更新信息出现再抓取发送，如此循环。

我是入门小白，能想到的办法就是把抓取的内容放到txt文档里，然后不断比对新抓取的内容，如果不一致才发送邮件。

请各位高手提点，感谢。

woshidajiangyou

只要能达到你的目的就可以了
想要具体的，你给出网站，可以看看有无更好的办法

perfectstock

这种网站应该有订阅服务，主动推送更新的吧

htv

保存上一次的数据，再爬的时候对比一下再决定要不要发新邮件

天朝屁民

htv 发表于 2018-8-24 10:02
保存上一次的数据，再爬的时候对比一下再决定要不要发新邮件

我现在是保存到txt，然后再爬的时候读文件进行对比，但我觉得这样有点傻。。。

有没有更好保存数据的方法呢？

天朝屁民

perfectstock 发表于 2018-8-24 07:35
这种网站应该有订阅服务，主动推送更新的吧

就是为了锻炼爬虫技能啊 哈哈

htv

天朝屁民 发表于 2018-8-24 10:20
我现在是保存到txt，然后再爬的时候读文件进行对比，但我觉得这样有点傻。。。

有没有更好保存数据的方 ...

干嘛需要更好的呢

天朝屁民

htv 发表于 2018-8-24 10:25
干嘛需要更好的呢

觉得我自己的这方法没啥效率 因为初学嘛 不能自己闭门造车哈哈

mzbac

md5 算一下 值变量在抓

天朝屁民

mzbac 发表于 2018-8-24 13:31
md5 算一下 值变量在抓

之前的MD5值存放在哪里以便进行比对呢？

APSTNDP

天朝屁民 发表于 2018-8-24 13:39
之前的MD5值存放在哪里以便进行比对呢？

放在一个python变量里不行吗？

天朝屁民

APSTNDP 发表于 2018-8-24 13:59
放在一个python变量里不行吗？

嗯 放到变量里进行比对，如果有新值就替换然后发邮件，不然就保存，好办法。

APSTNDP

天朝屁民 发表于 2018-8-24 14:05
嗯 放到变量里进行比对，如果有新值就替换然后发邮件，不然就保存，好办法。 ...

  这不就是python最简单的条件判断么......

nathan0000

建议不够营养

gzrain

check if the server support http response 304 ‘Not Modified’

ironcool

一些网站通过 long polling 或者更先进的 websocket 来推送更新， 如果你要做到有了通知才去抓，那么你的爬虫得能够理解和执行 javascript 或者处理 websocket 连接。这毫无必要，无端增加复杂度。

简单粗暴的解决问题就行了，就对比你抓下来的 txt， 没什么不好。

tghj01

初级做法：
每次爬了页面把你关心的数据存到文件或者数据库，下次再抓回来就做一次对比。然后发邮件


进阶做法：
爬虫只管爬页面，另外写个后台接受爬虫拿到的数据。 后台收到数据后和数据库对比，然后trigger 自定义的action （发邮件，发短信 or whatever）



唬人做法：
爬虫放docker， 做集群，拉了数据回来喂aws Kinesis， 什么hadoop，zooke，机器学习，能加的都加上。再上链发个币， 融资，上市，走上人生巅峰。