寻找一个具有能列表某网站某目录下所有文件的软件

win7

某个网站的某个目录，里面有许多PDF文件。

如果你知道某个文件的具体名字，那么用这个目录的链接+具体文件名，就可以完全显示这个PDF文件的具体内容。
如果文件名错了，就显示不出来。

能有什么软件，可以列出这个目录下的所有PDF文件的名字吗？我用了downitall，不行。

必加分感谢。

赵兄托你办点事

应该是需要登陆用户有list权限
匿名用户应该没有list权限，否则允许匿名一个用户直接上来list网站目录下所有文件然后挨个下载找漏洞那这些做网站开发的直接可以回家了

企鹅男孩

没有这样的软件，除非你是管理员或者网站被黑了

Hetbert

Google

InURL：目录名 Filetype：PDF site：网站地址

赵兄托你办点事

对了，谷歌爬虫有这个功能

win7

赵兄托你办点事 发表于 2021-1-29 09:15
对了，谷歌爬虫有这个功能

能具体些吗？怎么用？

win7

Hetbert 发表于 2021-1-29 08:58
Google

InURL：目录名 Filetype：PDF site：网站地址

具体怎么个用法?

如：https://aaa.com/bbb/ccc/*.pdf



按照你的提示，在Google里面搜索：

InURL：目录名  Filetype：PDF site：aaa.com


这个目录名该填什么？
bbb/ccc/

还是
bbb/ccc

还是
ccc

?

rayki

真够麻烦的，  为什么要list呢。这个真的需要爬虫来做的。 google python 爬虫吧。
另外找个下载软件。 类似jdownloader 可以自动监听这个URL下面的media files - PDF 或者视频都可以下载。

win7

rayki 发表于 2021-1-29 09:53
真够麻烦的，  为什么要list呢。这个真的需要爬虫来做的。 google python 爬虫吧。
另外找个下载软件。 类 ...

为什么要LIST？ - 因为我想知道里面有哪些文件是我感兴趣的。
JDDOWNLOAD我有安装呀，但怎么使用？

rayki

win7 发表于 2021-1-29 09:56
为什么要LIST？ - 因为我想知道里面有哪些文件是我感兴趣的。
JDDOWNLOAD我有安装呀，但怎么使用？

现状就是如果你不花点心思弄爬虫，几乎没有现成的工具可以对别人的网站子目录的文件进行列表。
jdownloader你拷贝黏贴URL然后选择pdf文件扩展名，开启下载之后。会看到很多很多，然后选择那个要要个不要就好了。

rayki

另外下载的时候不要开启过多的线程， 有些网站会对这种行为检测有的时候会block你的ip地址。 所以可以慢慢下载。

Hetbert

win7 发表于 2021-1-29 09:44
具体怎么个用法?

如：https://aaa.com/bbb/ccc/*.pdf

AllInURL: BBB CCC  Filetype：PDF site：aaa.com

win7

Hetbert 发表于 2021-1-29 10:16
AllInURL: BBB CCC  Filetype：PDF site：aaa.com

试了，没起作用。

Hetbert

那就是网站设置了flag，不许爬。

win7

rayki 发表于 2021-1-29 10:13
另外下载的时候不要开启过多的线程， 有些网站会对这种行为检测有的时候会block你的ip地址。 所以可以慢慢 ...

试了一下，不行呀。

比如，我知道有一个文件的地址：

https://aaa.com/bbb/ccc/ddd.pdf
现在想查 https://aaa.com/bbb/ccc/ 目录下所有的PDF文件，该怎么用？

rayki

win7 发表于 2021-1-29 11:01
试了一下，不行呀。

比如，我知道有一个文件的地址：

复制黏贴-- https://aaa.com/bbb/ccc 这层目录

win7

rayki 发表于 2021-1-29 11:06
复制黏贴-- https://aaa.com/bbb/ccc 这层目录

然后呢？

rayki

链接抓取器，复制黏贴，看是否能够抓取出来。

win7

rayki 发表于 2021-1-29 14:13
链接抓取器，复制黏贴，看是否能够抓取出来。

各种方式都试过了，没有作用

rayki

win7 发表于 2021-1-29 14:19
各种方式都试过了，没有作用

普遍来说如果知道名字就可以下载的话，也就是说允许你curl这个URL，至少我用过的类似情况都可以抓取。  你尝试着换URL到上一次目录试试看。  从/aaa/bbb 换成/aaa这种情况

win7

rayki 发表于 2021-1-29 14:23
普遍来说如果知道名字就可以下载的话，也就是说允许你curl这个URL，至少我用过的类似情况都可以抓取。   ...

刚试，还是不行。

但只输入网站地址，不列子/孙目录，倒是可以列出一些图片文件，那个已知的子目录/孙目录都没有列出来，没有PDF文件列出来。

估计网站做了限制。

rayki

hmm 如果是有copyright的一些document，那基本上是这样的。

win7

rayki 发表于 2021-1-29 14:58
hmm 如果是有copyright的一些document，那基本上是这样的。

只要我想对文件名，就可以列出/下载。

skysadness

我之前用global fetch软件  直接把整站的文件下载下来