如何从政府网站快速获取数据

cqflq212

请教大家，我公司需要从department of human services网站获取客户数据。但是DHSS网站是每次查询必须有用户信息，比如一个unique ID，加上last name and DOB。而且不提供API。请教大家如何快速获取大量客户的数据，有没有其他的方案？

考虑了RPA，有点太费时费事。想知道还有其他好的办法吗。

明月星光

这个行为合法么……

cqflq212

合法的。只是在技术上，我不知道还有什么其他方案。任何一个healthcare provider都是这样。只是我们量比较大，所以在想其他办法

piddock

cqflq212 发表于 2019-11-25 21:10
合法的。只是在技术上，我不知道还有什么其他方案。任何一个healthcare provider都是这样。只是我们量比较 ...

人工一个一个查询是合法的，但是批量机器爬虫去获取数据应该是不合法的。合法的方式是直接从数据源购买数据。

bluehenry

写个爬虫吧

cqflq212

piddock 发表于 2019-11-25 22:16
人工一个一个查询是合法的，但是批量机器爬虫去获取数据应该是不合法的。合法的方式是直接从数据源购买数 ...

感谢回复。政府DHSS数据客户经常更新的，当然也不存在购买一说，只是获取起来很费事。就想知道技术上可不可以模拟浏览器然后filter value，然后调取这些服务喝数据

cqflq212

bluehenry 发表于 2019-11-25 22:21
写个爬虫吧

请教怎么写？

piddock

cqflq212 发表于 2019-11-25 22:24
感谢回复。政府DHSS数据客户经常更新的，当然也不存在购买一说，只是获取起来很费事。就想知道技术上可不 ...

你用爬虫试试看，马上封你的ip。如果不存在购买一说，那你完全可以直接问政府免费索取。哪有数据是不要钱的？

bluehenry

cqflq212 发表于 2019-11-25 22:24
请教怎么写？

Google一下吧

爬虫如果被封的话，还可以写个程序自动隔一段时间获取。方法好多，Postman，UI自动化测试， etc。。。

gzrain

cqflq212 发表于 2019-11-25 22:24
感谢回复。政府DHSS数据客户经常更新的，当然也不存在购买一说，只是获取起来很费事。就想知道技术上可不 ...

浏览器能做的事，就可以automate， 公司爬虫项目每天20w个job

不过现在zf开始转型，提供商用API了，慢慢都往上转了；就是开发很慢，一个endpoint 要写个半年， 慢慢等吧


浏览器自动化，老牌的是selenium，支持多种语言和浏览器；或者Google出品的Puppeteer，nodeJS平台，只支持Chrome

Wooduck

专家。

civ

学习了

napolian

小心被当成间谍啊

cqflq212

谢谢大家。完全合法，因为网站没有API，所以要一个一个查比较慢。

liveforlove

逐个查合法，但是爬虫就非法了，除非你很确定的得到对方的confirmation

qyz225

搜一下Department of human service api第一个结果不是吗？

flyspirit

爬虫为什么不合法？ Google怎么做的， 最大的爬虫就是他们家。

woshidajiangyou

gzrain 发表于 2019-11-26 10:35
浏览器能做的事，就可以automate， 公司爬虫项目每天20w个job

不过现在zf开始转型，提供商用API了，慢慢 ...

爬虫，哪个好用用哪个

又不用考虑多浏览器兼容问题

没有任何理由不用Puppeteer吧

qyz225

flyspirit 发表于 2019-12-17 03:27
爬虫为什么不合法？ Google怎么做的， 最大的爬虫就是他们家。

可以在robot里面定义许可，禁止规则

righttang

爬虫这东西，你用是可以用，但是并没有SLA一说

简单来说，如果政府那个网站更新了，然后你们爬虫就坏了，获取不了数据了，由此而得可能会造成巨大的商业损失。

如果你们整个Solution建立在爬虫获得的数据上，那风险是巨大的。这个你们Business知道么？