新足迹 › 论坛 › 兴趣爱好区 › IT与科技 › IT专业论坛 › 用啥语言能比较方便的写个小程序和网页交互提取数据？ ...

精华好帖回顾
· 儿子，对不起啦！ (2005-11-10) cen	· 全职妈妈工作发展的构想-曾经的全职妈妈，现在成功转行的上班妈妈 (2010-6-30) Adelee
· 坐着火车游澳洲 (2012-11-6) JHHHS	· 《最美婚纱照》 (2012-4-2) zhuoya

查看: 2197|回复: 23

用啥语言能比较方便的写个小程序和网页交互提取数据？ [复制链接]

iamamouse

皮靴族

发表于 2013-5-1 17:42 |显示全部楼层

此文章由 iamamouse 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 iamamouse 所有！转贴必须注明作者、出处和本声明，并保持内容完整

现在俺在大学里有个研究项目得用数据，从美国证监会（SEC）的网站上查询他们的数据库，下载数据。他们网站页面可以输入一些筛选条件，然后出来的数据（其实就是公司提交的很多报表）可以从网页上以txt或者html格式下载。因为数据量很大，用手动的话岂不是累死了。

现在有哪些比较方便的语言适合或者能够编写小程序自动得去和网页交互下载报表。或者说这样的自动化要求是否现实，大概能做到各啥程度。

俺要求不高，也不要很牛的功能。这纯粹是学术的，不涉及任何商业。我可以自己写程序，这研究项目也没资金赞助。

帅有个屁用!到头来还不是被卒吃掉

findcaiyzh

银靴族

发表于 2013-5-1 17:47 |显示全部楼层

此文章由 findcaiyzh 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 findcaiyzh 所有！转贴必须注明作者、出处和本声明，并保持内容完整

我是C#程序员，这种程序，我都用C#实现。
按理说什么语言都可以的。

ericlgq

银靴族

发表于 2013-5-1 20:14 |显示全部楼层

此文章由 ericlgq 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 ericlgq 所有！转贴必须注明作者、出处和本声明，并保持内容完整

selenium？可以录制脚本操作浏览器。

coin_king

铜靴族

发表于 2013-5-1 20:19 |显示全部楼层

此文章由 coin_king 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 coin_king 所有！转贴必须注明作者、出处和本声明，并保持内容完整

这种网站肯定有RSS feeder的，XML format。

coin_king

铜靴族

发表于 2013-5-1 20:20 |显示全部楼层

此文章由 coin_king 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 coin_king 所有！转贴必须注明作者、出处和本声明，并保持内容完整

http://www.sec.gov/spotlight/xbrl/filings-and-feeds.shtml

kawara

水晶靴族

发表于 2013-5-1 20:24 |显示全部楼层

此文章由 kawara 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 kawara 所有！转贴必须注明作者、出处和本声明，并保持内容完整

一般和text打交道都用scriping language

现在流行python,内置api也非常多

LifesoCool

皮靴族

发表于 2013-5-1 22:39 |显示全部楼层

此文章由 LifesoCool 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 LifesoCool 所有！转贴必须注明作者、出处和本声明，并保持内容完整

PYTHON吧

红烧鸡翅

皮靴族

发表于 2013-5-1 22:40 |显示全部楼层

此文章由红烧鸡翅原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者红烧鸡翅所有！转贴必须注明作者、出处和本声明，并保持内容完整

perl lwp
天天干这事

鱼羊鲜

水晶靴族

发表于 2013-5-1 22:49 |显示全部楼层

此文章由鱼羊鲜原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者鱼羊鲜所有！转贴必须注明作者、出处和本声明，并保持内容完整

都可以，看你哪个语言拿手啊

yangwulong1978

银靴族

发表于 2013-5-1 22:51 |显示全部楼层

此文章由 yangwulong1978 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 yangwulong1978 所有！转贴必须注明作者、出处和本声明，并保持内容完整

鱼羊鲜发表于 2013-5-1 21:49
都可以，看你哪个语言拿手啊

我中文拿手，

鱼羊鲜

水晶靴族

发表于 2013-5-2 00:45 |显示全部楼层

此文章由鱼羊鲜原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者鱼羊鲜所有！转贴必须注明作者、出处和本声明，并保持内容完整

yangwulong1978 发表于 2013-5-1 21:51
我中文拿手，

哦那就用易语言

易语言汉语编程官方站

无视

银靴族

发表于 2013-5-2 10:26 |显示全部楼层

此文章由无视原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者无视所有！转贴必须注明作者、出处和本声明，并保持内容完整

“可以从网页上以txt或者html格式下载“

到底是下载还是要抓数据？

如果是下载就会有自己的url，如果要抓数据就需要web page的parsing/extraction, 不过都可以用powershell, 它底层大多是是调用.net的类库。跟c#的implementation比，优点是scripting,直接改code，也不用recompile。缺点是必须对powershell的语法比较熟，debug起来如果没用好的工具就没有vs那么顺手。

另外用selenium应该不错。