模拟用户登录网页有什么比较好的现成语言框架？

xmj

我想自动化实现用户登录网站，点击按钮，提交表单，抓取网页上的信息

这方面有什么比较好的现成语言和框架，大家可以建议下？谢谢

主要是想自动化实现提交表单功能，不过看起来貌似和scrapping差不多？

我平时工作很少接触过这方面内容，不知道哪位大侠比较熟这方面工作可以提个建议

谢谢

yookehoo

爬虫？

坚韧的弹簧豆

Python Scrapy

xmj

坚韧的弹簧豆 发表于 2019-7-30 10:29
Python Scrapy

scrapy我看了下，好像只能纯粹爬虫，不能js交互的

我更关键要模拟用户登录点击，提交表单，

现在我用puppeteer，比较满意

kaixinkaixin

你这是要实现抢购，刷单？

xmj

kaixinkaixin 发表于 2019-8-3 18:08
你这是要实现抢购，刷单？

我的券商不支持api交易，只好这么干

只是自动化交易而已

chineisei

Cypress, webdriverio 这些也可以满足需求

kr2000

selenium

xmj

kr2000 发表于 2019-8-3 19:55
selenium

恩，我看了一些框架介绍，看起来puppeteer是最适合我了

速度够快

我模拟用户网页交易，大概可以做到1s交易一次，主要有时候网速有delay

Jimmylijin

我一直在做这个。尽管他不提供公开的API，你可以分析每个请求嘛。破解下不就是API了么。不明白的话，你联系我。我级别还不够发站短

xmj

Jimmylijin 发表于 2019-8-4 05:22
我一直在做这个。尽管他不提供公开的API，你可以分析每个请求嘛。破解下不就是API了么。不明白的话，你联系 ...

哈哈，你这个思路牛b
不过我写这个是方便我的个人交易而已，我也不是高频交易，1s一次对我绰绰有余，我大概一天交易5次左右

我看了一下api交互，要全部破解完全可能的，就是挺花时间的
对我个人来说从1s/次提高到1ms/次，也完全没有意义

有这个时间我不如多分析几只股票

除非做出来的东西能变成软件拿出去卖，还有点意义
否则，这个时间投入不值得

不过你这个是程序员的思路，要点赞

Jimmylijin

xmj 发表于 2019-8-4 12:09
哈哈，你这个思路牛b
不过我写这个是方便我的个人交易而已，我也不是高频交易，1s一次对我绰绰有余，我大 ...

我最近也在做股票的。可以交流下啊。澳洲两千多股的数据我都拿到了。

Jimmylijin

Jimmylijin 发表于 2019-8-4 23:07
我最近也在做股票的。可以交流下啊。澳洲两千多股的数据我都拿到了。

频率过快的话 服务器不会出现recapcha 或者给你429么？

gzrain

我selenium/ casperJS写了很多，一般网页应对没问题了； 但如果前段是象react / vue这种js framework， selenium好像没办法capture ajax call data；用puppeteer就可以；

zhupang

Java&maven + selenium webdrive
如果要实现自动化, 再加Jenkins 框架结构