新足迹

 找回密码
 注册

精华好帖回顾

· 寻找和风之美 - 关西行 (2012-10-16) 老猫晒太阳 · [生活 (2007-7-16) Anihc
· 还从没帖过我家的小鸟呢。 (2007-3-15) susan · 最新进展: 我该怎么接受工作OFFER (2008-1-21) 西北农夫
Advertisement
Advertisement
查看: 1793|回复: 14

模拟用户登录网页有什么比较好的现成语言框架? [复制链接]

发表于 2019-7-30 10:55 |显示全部楼层
此文章由 xmj 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 xmj 所有!转贴必须注明作者、出处和本声明,并保持内容完整
我想自动化实现用户登录网站,点击按钮,提交表单,抓取网页上的信息

这方面有什么比较好的现成语言和框架,大家可以建议下?谢谢

主要是想自动化实现提交表单功能,不过看起来貌似和scrapping差不多?

我平时工作很少接触过这方面内容,不知道哪位大侠比较熟这方面工作可以提个建议

谢谢
Advertisement
Advertisement

发表于 2019-7-30 11:27 |显示全部楼层
此文章由 yookehoo 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 yookehoo 所有!转贴必须注明作者、出处和本声明,并保持内容完整
爬虫?

发表于 2019-7-30 11:29 |显示全部楼层
此文章由 坚韧的弹簧豆 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 坚韧的弹簧豆 所有!转贴必须注明作者、出处和本声明,并保持内容完整
Python Scrapy

发表于 2019-8-3 18:54 |显示全部楼层
此文章由 xmj 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 xmj 所有!转贴必须注明作者、出处和本声明,并保持内容完整
坚韧的弹簧豆 发表于 2019-7-30 10:29
Python Scrapy

scrapy我看了下,好像只能纯粹爬虫,不能js交互的

我更关键要模拟用户登录点击,提交表单,

现在我用puppeteer,比较满意

发表于 2019-8-3 19:08 |显示全部楼层
此文章由 kaixinkaixin 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 kaixinkaixin 所有!转贴必须注明作者、出处和本声明,并保持内容完整
你这是要实现抢购,刷单?

发表于 2019-8-3 19:27 |显示全部楼层
此文章由 xmj 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 xmj 所有!转贴必须注明作者、出处和本声明,并保持内容完整
kaixinkaixin 发表于 2019-8-3 18:08
你这是要实现抢购,刷单?

我的券商不支持api交易,只好这么干

只是自动化交易而已
Advertisement
Advertisement

发表于 2019-8-3 19:50 来自手机 |显示全部楼层
此文章由 chineisei 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 chineisei 所有!转贴必须注明作者、出处和本声明,并保持内容完整
Cypress, webdriverio 这些也可以满足需求

特殊贡献奖章

发表于 2019-8-3 20:55 |显示全部楼层
此文章由 kr2000 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 kr2000 所有!转贴必须注明作者、出处和本声明,并保持内容完整
selenium

发表于 2019-8-4 05:58 |显示全部楼层
此文章由 xmj 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 xmj 所有!转贴必须注明作者、出处和本声明,并保持内容完整
kr2000 发表于 2019-8-3 19:55
selenium

恩,我看了一些框架介绍,看起来puppeteer是最适合我了

速度够快

我模拟用户网页交易,大概可以做到1s交易一次,主要有时候网速有delay

发表于 2019-8-4 06:22 来自手机 |显示全部楼层
此文章由 Jimmylijin 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 Jimmylijin 所有!转贴必须注明作者、出处和本声明,并保持内容完整
我一直在做这个。尽管他不提供公开的API,你可以分析每个请求嘛。破解下不就是API了么。不明白的话,你联系我。我级别还不够发站短

发表于 2019-8-4 13:09 |显示全部楼层
此文章由 xmj 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 xmj 所有!转贴必须注明作者、出处和本声明,并保持内容完整
Jimmylijin 发表于 2019-8-4 05:22
我一直在做这个。尽管他不提供公开的API,你可以分析每个请求嘛。破解下不就是API了么。不明白的话,你联系 ...

哈哈,你这个思路牛b
不过我写这个是方便我的个人交易而已,我也不是高频交易,1s一次对我绰绰有余,我大概一天交易5次左右

我看了一下api交互,要全部破解完全可能的,就是挺花时间的
对我个人来说从1s/次提高到1ms/次,也完全没有意义

有这个时间我不如多分析几只股票

除非做出来的东西能变成软件拿出去卖,还有点意义
否则,这个时间投入不值得

不过你这个是程序员的思路,要点赞
Advertisement
Advertisement

发表于 2019-8-5 00:07 来自手机 |显示全部楼层
此文章由 Jimmylijin 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 Jimmylijin 所有!转贴必须注明作者、出处和本声明,并保持内容完整
xmj 发表于 2019-8-4 12:09
哈哈,你这个思路牛b
不过我写这个是方便我的个人交易而已,我也不是高频交易,1s一次对我绰绰有余,我大 ...

我最近也在做股票的。可以交流下啊。澳洲两千多股的数据我都拿到了。

发表于 2019-8-5 00:11 来自手机 |显示全部楼层
此文章由 Jimmylijin 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 Jimmylijin 所有!转贴必须注明作者、出处和本声明,并保持内容完整
Jimmylijin 发表于 2019-8-4 23:07
我最近也在做股票的。可以交流下啊。澳洲两千多股的数据我都拿到了。


频率过快的话 服务器不会出现recapcha 或者给你429么?

发表于 2019-8-18 17:12 |显示全部楼层
此文章由 gzrain 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 gzrain 所有!转贴必须注明作者、出处和本声明,并保持内容完整
我selenium/ casperJS写了很多,一般网页应对没问题了; 但如果前段是象react / vue这种js framework, selenium好像没办法capture ajax call data;用puppeteer就可以;

发表于 2019-8-18 17:35 来自手机 |显示全部楼层
此文章由 zhupang 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 zhupang 所有!转贴必须注明作者、出处和本声明,并保持内容完整
Java&maven + selenium webdrive
如果要实现自动化, 再加Jenkins 框架结构

发表回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

Advertisement
Advertisement
返回顶部