新足迹

 找回密码
 注册

精华好帖回顾

· Cisco 建房及DIY工程 11月27日更新草皮价钱,151楼. (2009-9-9) cisco · 两狗一猫,说走就走 -- 维州雪山行 (2016-8-16) bunker
· 早晨的火车 (2008-8-25) youyuan · 聊一聊巴厘岛迷你旅几个HIGHLIGHT:婚礼/乌布酒店/圣泉寺/餐馆/咖啡/按摩/漂流 (2019-3-28) 盐炒栗子
Advertisement
Advertisement
查看: 2495|回复: 28

如何用IE从网页提取信息? [复制链接]

发表于 2015-1-27 15:56 |显示全部楼层
此文章由 easter 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 easter 所有!转贴必须注明作者、出处和本声明,并保持内容完整
现在需要从一个网页提取某些信息写入数据库。 这个网页的格式是固定的, 每次变化的只是某些内容。
搜了一下有个方案是用BHO作扩展,看起来很复杂的样子。

不知哪位大侠有没有什么相对简单的办法? 谢了先。
Advertisement
Advertisement

发表于 2015-1-27 18:10 |显示全部楼层
此文章由 nali 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 nali 所有!转贴必须注明作者、出处和本声明,并保持内容完整
如果格式不改变,我用命令 lynx , wget,  或者 curl来处理。你试一下。

评分

参与人数 1积分 +2 收起 理由
easter + 2 感谢分享

查看全部评分

发表于 2015-1-27 18:30 |显示全部楼层
此文章由 肥鱼 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 肥鱼 所有!转贴必须注明作者、出处和本声明,并保持内容完整
windows 平台自带脚本powershell 3.0轻松满足你要求

评分

参与人数 1积分 +2 收起 理由
easter + 2

查看全部评分

发表于 2015-1-27 20:21 |显示全部楼层
此文章由 easter 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 easter 所有!转贴必须注明作者、出处和本声明,并保持内容完整
谢谢楼上两位,我想在ie浏览器加一个按钮,打开网页之后点这个按钮完成操作,不知道是否可以

发表于 2015-1-27 20:57 |显示全部楼层
此文章由 yolandalinz 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 yolandalinz 所有!转贴必须注明作者、出处和本声明,并保持内容完整
为什么我觉得楼主不像IT专业的。。。

发表于 2015-1-27 21:40 |显示全部楼层
此文章由 zaiyiqi0604 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 zaiyiqi0604 所有!转贴必须注明作者、出处和本声明,并保持内容完整
听楼主的意思是属于 网页信息采集吧。。

把具体的网页贴出来。好友你打算怎样写入数据库。

大家的建议也会更准确和详细~
Advertisement
Advertisement

发表于 2015-1-28 09:02 |显示全部楼层
此文章由 stevenbian 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 stevenbian 所有!转贴必须注明作者、出处和本声明,并保持内容完整
yolandalinz 发表于 2015-1-27 21:57
为什么我觉得楼主不像IT专业的。。。

楼主如果会用程序写数据库的话,搞定网页就是分分钟的事。
签名不可外链

发表于 2015-1-28 12:31 |显示全部楼层
此文章由 tmac831116 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 tmac831116 所有!转贴必须注明作者、出处和本声明,并保持内容完整
这个太简单了,直接.net有现成的库可以读取网页内容

发表于 2015-1-28 13:03 |显示全部楼层
此文章由 easter 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 easter 所有!转贴必须注明作者、出处和本声明,并保持内容完整
stevenbian 发表于 2015-1-28 10:02
楼主如果会用程序写数据库的话,搞定网页就是分分钟的事。

单独实现是不存在问题的
主要问题还是如果把这些功能加到ie浏览器上没有做过,想知道最简单的方法

发表于 2015-1-28 13:11 |显示全部楼层
此文章由 easter 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 easter 所有!转贴必须注明作者、出处和本声明,并保持内容完整
yolandalinz 发表于 2015-1-27 21:57
为什么我觉得楼主不像IT专业的。。。

我已经演得很卖力了,你还说不像

发表于 2015-1-28 13:17 |显示全部楼层
此文章由 easter 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 easter 所有!转贴必须注明作者、出处和本声明,并保持内容完整
本帖最后由 easter 于 2015-1-28 14:39 编辑

还有就是网页的内容是无法通过url直接得到的,只有登陆系统,经过几步操作才能看到动态生成的内容

网页是sap一个portal, 本来直接在网页加一个按钮是最简单的方式。但sap团队很牛,坚持不做任何更改。
Advertisement
Advertisement

发表于 2015-1-28 13:50 |显示全部楼层
此文章由 stevenbian 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 stevenbian 所有!转贴必须注明作者、出处和本声明,并保持内容完整
easter 发表于 2015-1-28 14:17
还有就是网页的内容是无法通过url直接得到的,只有登陆系统,经过几步操作才能看到动态生成的内容

网页是s ...

你这是曲线救国啊,试试HttpClient
正确的方法是让他们开放RFC给你调用
签名不可外链

发表于 2015-1-28 13:54 来自手机 |显示全部楼层
此文章由 oed 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 oed 所有!转贴必须注明作者、出处和本声明,并保持内容完整
写个插件应该可以?

退役斑竹 2007 年度奖章获得者 2008年度奖章获得者 特殊贡献奖章 参与宝库编辑功臣

发表于 2015-1-28 14:51 |显示全部楼层
此文章由 黑山老妖 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 黑山老妖 所有!转贴必须注明作者、出处和本声明,并保持内容完整
楼主是想游戏作弊做外挂?

fiddler.

发表于 2015-1-28 15:04 |显示全部楼层
此文章由 easter 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 easter 所有!转贴必须注明作者、出处和本声明,并保持内容完整
黑山老妖 发表于 2015-1-28 15:51
楼主是想游戏作弊做外挂?

fiddler.

想多了 ,跟游戏无关。
就是想在sap开发人员不配合的情况,从sap里面提取点信息打印出来

退役斑竹 2007 年度奖章获得者 2008年度奖章获得者 特殊贡献奖章 参与宝库编辑功臣

发表于 2015-1-28 15:06 |显示全部楼层
此文章由 黑山老妖 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 黑山老妖 所有!转贴必须注明作者、出处和本声明,并保持内容完整
fiddler可以帮你抓包。然后你自己用软件解码。
Advertisement
Advertisement

发表于 2015-1-28 15:06 |显示全部楼层
此文章由 LifesoCool 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 LifesoCool 所有!转贴必须注明作者、出处和本声明,并保持内容完整
如果不能登陆你也没法取人家数据库的数据

发表于 2015-1-28 15:07 |显示全部楼层
此文章由 easter 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 easter 所有!转贴必须注明作者、出处和本声明,并保持内容完整
oed 发表于 2015-1-28 14:54
写个插件应该可以?

你是指ActiveX还是BHO?
默认的安全设置不能运行ActiveX

发表于 2015-1-28 15:09 |显示全部楼层
此文章由 easter 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 easter 所有!转贴必须注明作者、出处和本声明,并保持内容完整
LifesoCool 发表于 2015-1-28 16:06
如果不能登陆你也没法取人家数据库的数据

登录(人工)是可以的,但不能自动(程序)登录

发表于 2015-1-28 15:10 来自手机 |显示全部楼层
此文章由 oed 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 oed 所有!转贴必须注明作者、出处和本声明,并保持内容完整
easter 发表于 2015-1-28 16:07
你是指ActiveX还是BHO?
默认的安全设置不能运行ActiveX

具体我不懂只是猜测应该可以

2016年度奖章获得者

发表于 2015-1-28 15:21 |显示全部楼层
此文章由 maXu 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 maXu 所有!转贴必须注明作者、出处和本声明,并保持内容完整
easter 发表于 2015-1-27 20:21
谢谢楼上两位,我想在ie浏览器加一个按钮,打开网页之后点这个按钮完成操作,不知道是否可以 ...

javascript
Advertisement
Advertisement

发表于 2015-1-28 15:40 |显示全部楼层
此文章由 LifesoCool 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 LifesoCool 所有!转贴必须注明作者、出处和本声明,并保持内容完整
easter 发表于 2015-1-28 15:09
登录(人工)是可以的,但不能自动(程序)登录

别纠结IE了,用PYTHON或者PHP自己写个自动登陆和抓去内容的脚本就成。网上一搜索一把一把的

发表于 2015-1-28 15:48 |显示全部楼层
此文章由 easter 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 easter 所有!转贴必须注明作者、出处和本声明,并保持内容完整
LifesoCool 发表于 2015-1-28 16:40
别纠结IE了,用PYTHON或者PHP自己写个自动登陆和抓去内容的脚本就成。网上一搜索一把一把的 ...

自动登录是被禁止的

发表于 2015-1-28 15:49 |显示全部楼层
此文章由 LifesoCool 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 LifesoCool 所有!转贴必须注明作者、出处和本声明,并保持内容完整
easter 发表于 2015-1-28 15:48
自动登录是被禁止的

那就写个手动登陆页面,然后再抓呗

发表于 2015-1-28 17:39 来自手机 |显示全部楼层
此文章由 gzrain 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 gzrain 所有!转贴必须注明作者、出处和本声明,并保持内容完整
easter 发表于 2015-1-28 15:48
自动登录是被禁止的

如果是有captcha或者动态password就比较麻烦了;花时间写ie插件还不如登录后网页另存,写个script parse html就是

如果不是上面的情况,我知道的普通没有复杂javacript就能拿到页面的话可以用mechanize,浏览器都不用打开就可以run script去scrape网页;如果要复杂的javascript操作才能到达页面的话,我们正在研究用CasperJS来scrape

发表于 2015-1-29 16:01 |显示全部楼层
此文章由 easter 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 easter 所有!转贴必须注明作者、出处和本声明,并保持内容完整
gzrain 发表于 2015-1-28 18:39
如果是有captcha或者动态password就比较麻烦了;花时间写ie插件还不如登录后网页另存,写个script parse  ...

现在发现网页很tricky, 另存为文件或者view source code都找不到要提取的内容

Advertisement
Advertisement

特殊贡献奖章

发表于 2015-2-3 16:42 |显示全部楼层
此文章由 kr2000 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 kr2000 所有!转贴必须注明作者、出处和本声明,并保持内容完整
easter 发表于 2015-1-29 16:01
现在发现网页很tricky, 另存为文件或者view source code都找不到要提取的内容

...

你用developer tool查看html应该就可以看到你要的内容

如果没有captcha的话,可以用end to end测试工具来模拟用户登陆后再抓取网页内容

发表于 2015-2-6 10:17 |显示全部楼层
此文章由 鱼羊鲜 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 鱼羊鲜 所有!转贴必须注明作者、出处和本声明,并保持内容完整
太简单了 写一段javascript 保存为书签即可,需要时 点一下就存数据库了。

发表于 2015-2-6 10:18 |显示全部楼层
此文章由 鱼羊鲜 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 鱼羊鲜 所有!转贴必须注明作者、出处和本声明,并保持内容完整
javascriptfunction(){})()

类似这样的

发表回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

Advertisement
Advertisement
返回顶部