我用wget -p $url获取网页上的所有文件，这样我可以得到一个列表。 但对于一些网址，事实证明，只有中的index.html可以通过wget的获取。 有没有办法让通过wget或curl特定的URL文件的列表？ 我需要检查请求头和响应头？
Answer 1:
有些服务器不要让你浏览目录列表，如果有在该目录默认文档，它接管并您无法浏览无论是。
你需要实现的是分析所有的路径和文件和链接，并创建一个声明和在HTML中使用的文件的目录结构的蜘蛛。 然后，你可以下载这些文件。
文章来源: how to get a list of all paths/files on a webpage using wget or curl in php?
