新足迹 › 论坛 › 兴趣爱好区 › IT与科技 › 电脑和宽带 › 寻找一个具有能列表某网站某目录下所有文件的软件 ...

精华好帖回顾
· 蝈蝈厨房之--Less is more(无肉不喜勿进) (2010-10-8) t_guoguo	· 甜蜜的水果歲月（原创分享） (2014-5-8) ahyu
· 炵炵妈的随手记---带宝儿回国三个月的我回归了~~弃楼的楼主又回来了 (2011-3-15) xuankefeng	· 两只猫，黑白配。不定期更新。09/06更新一个很逗很像人的coffee的video。 (2009-12-3) brucerofl

查看: 2298|回复: 23

寻找一个具有能列表某网站某目录下所有文件的软件 [复制链接]

win7

银靴族

发表于 2021-1-29 05:26 来自手机 |显示全部楼层

此文章由 win7 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 win7 所有！转贴必须注明作者、出处和本声明，并保持内容完整

某个网站的某个目录，里面有许多PDF文件。

如果你知道某个文件的具体名字，那么用这个目录的链接+具体文件名，就可以完全显示这个PDF文件的具体内容。
如果文件名错了，就显示不出来。

能有什么软件，可以列出这个目录下的所有PDF文件的名字吗？我用了downitall，不行。

必加分感谢。

赵兄托你办点事

皮靴族

发表于 2021-1-29 07:42 来自手机 |显示全部楼层

此文章由赵兄托你办点事原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者赵兄托你办点事所有！转贴必须注明作者、出处和本声明，并保持内容完整

应该是需要登陆用户有list权限
匿名用户应该没有list权限，否则允许匿名一个用户直接上来list网站目录下所有文件然后挨个下载找漏洞那这些做网站开发的直接可以回家了

评分

参与人数 1	积分 +2	收起理由
win7	+ 2	感谢分享

查看全部评分

企鹅男孩

金靴族

发表于 2021-1-29 07:51 来自手机 |显示全部楼层

此文章由企鹅男孩原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者企鹅男孩所有！转贴必须注明作者、出处和本声明，并保持内容完整

没有这样的软件，除非你是管理员或者网站被黑了

评分

参与人数 1	积分 +2	收起理由
win7	+ 2	感谢分享

查看全部评分

Hetbert

头像被屏蔽

禁止发言

发表于 2021-1-29 07:58 来自手机 |显示全部楼层

此文章由 Hetbert 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 Hetbert 所有！转贴必须注明作者、出处和本声明，并保持内容完整

Google

InURL：目录名 Filetype：PDF site：网站地址

评分

参与人数 2	积分 +5	收起理由
win7	+ 2	感谢分享
赵兄托你办点事	+ 3	感谢分享

查看全部评分

赵兄托你办点事

皮靴族

发表于 2021-1-29 08:15 来自手机 |显示全部楼层

对了，谷歌爬虫有这个功能

win7

银靴族

发表于 2021-1-29 08:36 来自手机 |显示全部楼层

此文章由 win7 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 win7 所有！转贴必须注明作者、出处和本声明，并保持内容完整

赵兄托你办点事发表于 2021-1-29 09:15
对了，谷歌爬虫有这个功能

能具体些吗？怎么用？

win7

银靴族

发表于 2021-1-29 08:44 |显示全部楼层

此文章由 win7 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 win7 所有！转贴必须注明作者、出处和本声明，并保持内容完整

Hetbert 发表于 2021-1-29 08:58
Google

InURL：目录名 Filetype：PDF site：网站地址

具体怎么个用法?

如：https://aaa.com/bbb/ccc/*.pdf

按照你的提示，在Google里面搜索：

InURL：目录名 Filetype：PDF site：aaa.com

这个目录名该填什么？
bbb/ccc/

还是
bbb/ccc

还是
ccc

?

rayki

白金靴族

发表于 2021-1-29 08:53 |显示全部楼层

此文章由 rayki 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 rayki 所有！转贴必须注明作者、出处和本声明，并保持内容完整

真够麻烦的，为什么要list呢。这个真的需要爬虫来做的。 google python 爬虫吧。
另外找个下载软件。类似jdownloader 可以自动监听这个URL下面的media files - PDF 或者视频都可以下载。

我来问道无余话，云在青天水在瓶

win7

银靴族

发表于 2021-1-29 08:56 |显示全部楼层

此文章由 win7 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 win7 所有！转贴必须注明作者、出处和本声明，并保持内容完整

rayki 发表于 2021-1-29 09:53
真够麻烦的，为什么要list呢。这个真的需要爬虫来做的。 google python 爬虫吧。
另外找个下载软件。类 ...

为什么要LIST？ - 因为我想知道里面有哪些文件是我感兴趣的。
JDDOWNLOAD我有安装呀，但怎么使用？

rayki

白金靴族

发表于 2021-1-29 09:02 |显示全部楼层

此文章由 rayki 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 rayki 所有！转贴必须注明作者、出处和本声明，并保持内容完整

win7 发表于 2021-1-29 09:56
为什么要LIST？ - 因为我想知道里面有哪些文件是我感兴趣的。
JDDOWNLOAD我有安装呀，但怎么使用？

现状就是如果你不花点心思弄爬虫，几乎没有现成的工具可以对别人的网站子目录的文件进行列表。
jdownloader你拷贝黏贴URL然后选择pdf文件扩展名，开启下载之后。会看到很多很多，然后选择那个要要个不要就好了。

评分

参与人数 1	积分 +3	收起理由
win7	+ 3	感谢分享

查看全部评分

我来问道无余话，云在青天水在瓶

rayki

白金靴族

发表于 2021-1-29 09:13 |显示全部楼层

此文章由 rayki 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 rayki 所有！转贴必须注明作者、出处和本声明，并保持内容完整

另外下载的时候不要开启过多的线程，有些网站会对这种行为检测有的时候会block你的ip地址。所以可以慢慢下载。

Hetbert

头像被屏蔽

禁止发言

发表于 2021-1-29 09:16 来自手机 |显示全部楼层

此文章由 Hetbert 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 Hetbert 所有！转贴必须注明作者、出处和本声明，并保持内容完整

win7 发表于 2021-1-29 09:44
具体怎么个用法?

如：https://aaa.com/bbb/ccc/*.pdf

AllInURL: BBB CCC Filetype：PDF site：aaa.com

评分

参与人数 1	积分 +2	收起理由
win7	+ 2	感谢分享

查看全部评分

win7

银靴族

发表于 2021-1-29 09:35 |显示全部楼层

此文章由 win7 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 win7 所有！转贴必须注明作者、出处和本声明，并保持内容完整

Hetbert 发表于 2021-1-29 10:16
AllInURL: BBB CCC Filetype：PDF site：aaa.com

试了，没起作用。

Hetbert

头像被屏蔽

禁止发言

发表于 2021-1-29 09:42 来自手机 |显示全部楼层

此文章由 Hetbert 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 Hetbert 所有！转贴必须注明作者、出处和本声明，并保持内容完整

那就是网站设置了flag，不许爬。

评分

参与人数 1	积分 +3	收起理由
商务车	+ 3	感谢分享

查看全部评分

win7

银靴族

发表于 2021-1-29 10:01 |显示全部楼层

此文章由 win7 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 win7 所有！转贴必须注明作者、出处和本声明，并保持内容完整

rayki 发表于 2021-1-29 10:13
另外下载的时候不要开启过多的线程，有些网站会对这种行为检测有的时候会block你的ip地址。所以可以慢慢 ...

试了一下，不行呀。

比如，我知道有一个文件的地址：

https://aaa.com/bbb/ccc/ddd.pdf
现在想查 https://aaa.com/bbb/ccc/ 目录下所有的PDF文件，该怎么用？

rayki

白金靴族

发表于 2021-1-29 10:06 |显示全部楼层

此文章由 rayki 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 rayki 所有！转贴必须注明作者、出处和本声明，并保持内容完整

win7 发表于 2021-1-29 11:01
试了一下，不行呀。

比如，我知道有一个文件的地址：

复制黏贴-- https://aaa.com/bbb/ccc 这层目录

我来问道无余话，云在青天水在瓶

win7

银靴族

发表于 2021-1-29 12:08 |显示全部楼层

此文章由 win7 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 win7 所有！转贴必须注明作者、出处和本声明，并保持内容完整

rayki 发表于 2021-1-29 11:06
复制黏贴-- https://aaa.com/bbb/ccc 这层目录

然后呢？

本帖子中包含更多资源

您需要登录才可以下载或查看，没有帐号？注册

rayki

白金靴族

发表于 2021-1-29 13:13 |显示全部楼层

此文章由 rayki 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 rayki 所有！转贴必须注明作者、出处和本声明，并保持内容完整

链接抓取器，复制黏贴，看是否能够抓取出来。

win7

银靴族

发表于 2021-1-29 13:19 来自手机 |显示全部楼层

此文章由 win7 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 win7 所有！转贴必须注明作者、出处和本声明，并保持内容完整

rayki 发表于 2021-1-29 14:13
链接抓取器，复制黏贴，看是否能够抓取出来。

各种方式都试过了，没有作用

rayki

白金靴族

发表于 2021-1-29 13:23 |显示全部楼层

此文章由 rayki 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 rayki 所有！转贴必须注明作者、出处和本声明，并保持内容完整

win7 发表于 2021-1-29 14:19
各种方式都试过了，没有作用

普遍来说如果知道名字就可以下载的话，也就是说允许你curl这个URL，至少我用过的类似情况都可以抓取。你尝试着换URL到上一次目录试试看。从/aaa/bbb 换成/aaa这种情况

我来问道无余话，云在青天水在瓶

win7

银靴族

发表于 2021-1-29 13:43 |显示全部楼层

此文章由 win7 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 win7 所有！转贴必须注明作者、出处和本声明，并保持内容完整

rayki 发表于 2021-1-29 14:23
普遍来说如果知道名字就可以下载的话，也就是说允许你curl这个URL，至少我用过的类似情况都可以抓取。 ...

刚试，还是不行。

但只输入网站地址，不列子/孙目录，倒是可以列出一些图片文件，那个已知的子目录/孙目录都没有列出来，没有PDF文件列出来。

估计网站做了限制。

rayki

白金靴族

发表于 2021-1-29 13:58 |显示全部楼层

此文章由 rayki 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 rayki 所有！转贴必须注明作者、出处和本声明，并保持内容完整

hmm 如果是有copyright的一些document，那基本上是这样的。

win7

银靴族

发表于 2021-1-29 15:15 来自手机 |显示全部楼层

此文章由 win7 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 win7 所有！转贴必须注明作者、出处和本声明，并保持内容完整

rayki 发表于 2021-1-29 14:58
hmm 如果是有copyright的一些document，那基本上是这样的。

只要我想对文件名，就可以列出/下载。

skysadness

银靴族

发表于 2021-2-1 20:41 |显示全部楼层

此文章由 skysadness 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 skysadness 所有！转贴必须注明作者、出处和本声明，并保持内容完整

我之前用global fetch软件直接把整站的文件下载下来

返回列表

		自动登录	找回密码
密码			注册

精华好帖回顾

寻找一个具有能列表某网站某目录下所有文件的软件 [复制链接]

评分

评分

评分

评分

评分

评分

本帖子中包含更多资源

发表回复

浏览过的版块