新足迹 › 论坛 › 兴趣爱好区 › IT与科技 › IT专业论坛 › 模拟用户登录网页有什么比较好的现成语言框架？ ...

精华好帖回顾
· <3楼更新网申部分～～～>给准备申请各大投行和麦肯锡等顶级咨询公司的同学们从履历到 (2013-10-26) miamiami	· 成功的转型 - Michael的故事 (2011-4-3) patrickzhu
· 大头家常菜 -- 蒜子烧海参 (2009-8-23) datou2z	· 长篇原创苏眉传奇 (2018-1-9) Jonathan_Pei

查看: 2340|回复: 14

模拟用户登录网页有什么比较好的现成语言框架？ [复制链接]

xmj

皮靴族

发表于 2019-7-30 10:55 |显示全部楼层

此文章由 xmj 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 xmj 所有！转贴必须注明作者、出处和本声明，并保持内容完整

我想自动化实现用户登录网站，点击按钮，提交表单，抓取网页上的信息

这方面有什么比较好的现成语言和框架，大家可以建议下？谢谢

主要是想自动化实现提交表单功能，不过看起来貌似和scrapping差不多？

我平时工作很少接触过这方面内容，不知道哪位大侠比较熟这方面工作可以提个建议

谢谢

yookehoo

皮靴族

发表于 2019-7-30 11:27 |显示全部楼层

此文章由 yookehoo 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 yookehoo 所有！转贴必须注明作者、出处和本声明，并保持内容完整

爬虫？

坚韧的弹簧豆

木屐族

发表于 2019-7-30 11:29 |显示全部楼层

此文章由坚韧的弹簧豆原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者坚韧的弹簧豆所有！转贴必须注明作者、出处和本声明，并保持内容完整

Python Scrapy

xmj

皮靴族

发表于 2019-8-3 18:54 |显示全部楼层

此文章由 xmj 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 xmj 所有！转贴必须注明作者、出处和本声明，并保持内容完整

坚韧的弹簧豆发表于 2019-7-30 10:29
Python Scrapy

scrapy我看了下，好像只能纯粹爬虫，不能js交互的

我更关键要模拟用户登录点击，提交表单，

现在我用puppeteer，比较满意

kaixinkaixin

皮靴族

发表于 2019-8-3 19:08 |显示全部楼层

此文章由 kaixinkaixin 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 kaixinkaixin 所有！转贴必须注明作者、出处和本声明，并保持内容完整

你这是要实现抢购，刷单？

xmj

皮靴族

发表于 2019-8-3 19:27 |显示全部楼层

此文章由 xmj 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 xmj 所有！转贴必须注明作者、出处和本声明，并保持内容完整

kaixinkaixin 发表于 2019-8-3 18:08
你这是要实现抢购，刷单？

我的券商不支持api交易，只好这么干

只是自动化交易而已

chineisei

布鞋族

发表于 2019-8-3 19:50 来自手机 |显示全部楼层

此文章由 chineisei 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 chineisei 所有！转贴必须注明作者、出处和本声明，并保持内容完整

Cypress, webdriverio 这些也可以满足需求

kr2000

白金靴族

发表于 2019-8-3 20:55 |显示全部楼层

此文章由 kr2000 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 kr2000 所有！转贴必须注明作者、出处和本声明，并保持内容完整

selenium

xmj

皮靴族

发表于 2019-8-4 05:58 |显示全部楼层

此文章由 xmj 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 xmj 所有！转贴必须注明作者、出处和本声明，并保持内容完整

kr2000 发表于 2019-8-3 19:55
selenium

恩，我看了一些框架介绍，看起来puppeteer是最适合我了

速度够快

我模拟用户网页交易，大概可以做到1s交易一次，主要有时候网速有delay

Jimmylijin

草鞋族

发表于 2019-8-4 06:22 来自手机 |显示全部楼层

此文章由 Jimmylijin 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 Jimmylijin 所有！转贴必须注明作者、出处和本声明，并保持内容完整

我一直在做这个。尽管他不提供公开的API，你可以分析每个请求嘛。破解下不就是API了么。不明白的话，你联系我。我级别还不够发站短

xmj

皮靴族

发表于 2019-8-4 13:09 |显示全部楼层

此文章由 xmj 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 xmj 所有！转贴必须注明作者、出处和本声明，并保持内容完整

Jimmylijin 发表于 2019-8-4 05:22
我一直在做这个。尽管他不提供公开的API，你可以分析每个请求嘛。破解下不就是API了么。不明白的话，你联系 ...

哈哈，你这个思路牛b
不过我写这个是方便我的个人交易而已，我也不是高频交易，1s一次对我绰绰有余，我大概一天交易5次左右

我看了一下api交互，要全部破解完全可能的，就是挺花时间的
对我个人来说从1s/次提高到1ms/次，也完全没有意义

有这个时间我不如多分析几只股票

除非做出来的东西能变成软件拿出去卖，还有点意义
否则，这个时间投入不值得

不过你这个是程序员的思路，要点赞

Jimmylijin

草鞋族

发表于 2019-8-5 00:07 来自手机 |显示全部楼层

此文章由 Jimmylijin 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 Jimmylijin 所有！转贴必须注明作者、出处和本声明，并保持内容完整

xmj 发表于 2019-8-4 12:09
哈哈，你这个思路牛b
不过我写这个是方便我的个人交易而已，我也不是高频交易，1s一次对我绰绰有余，我大 ...

我最近也在做股票的。可以交流下啊。澳洲两千多股的数据我都拿到了。

Jimmylijin

草鞋族

发表于 2019-8-5 00:11 来自手机 |显示全部楼层

此文章由 Jimmylijin 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 Jimmylijin 所有！转贴必须注明作者、出处和本声明，并保持内容完整

Jimmylijin 发表于 2019-8-4 23:07
我最近也在做股票的。可以交流下啊。澳洲两千多股的数据我都拿到了。

频率过快的话服务器不会出现recapcha 或者给你429么？

gzrain

皮靴族

发表于 2019-8-18 17:12 |显示全部楼层

此文章由 gzrain 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 gzrain 所有！转贴必须注明作者、出处和本声明，并保持内容完整

我selenium/ casperJS写了很多，一般网页应对没问题了；但如果前段是象react / vue这种js framework， selenium好像没办法capture ajax call data；用puppeteer就可以；

zhupang

布鞋族

发表于 2019-8-18 17:35 来自手机 |显示全部楼层

此文章由 zhupang 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 zhupang 所有！转贴必须注明作者、出处和本声明，并保持内容完整

Java&maven + selenium webdrive
如果要实现自动化, 再加Jenkins 框架结构

返回列表

		自动登录	找回密码
密码			注册

精华好帖回顾

模拟用户登录网页有什么比较好的现成语言框架？ [复制链接]

发表回复

浏览过的版块

特殊贡献奖章