如何提取网页的所有外部链接并将其保存到文件中？

如何提取网页的所有外部链接并将其保存到文件中？

如果您有任何命令行工具，那就太好了。

您将需要2个工具lynx和awk，请尝试以下操作：

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' > links.txt

如果需要编号行，请使用命令nl，请尝试以下操作：

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' | nl > links.txt

这是对勒尔顿答案的一种改进：您不需要awk，因为山猫有一些有用的选择。

lynx -listonly -nonumbers -dump http://www.google.com.br

如果你想要数字

lynx -listonly -dump http://www.google.com.br

1. 使用Beautiful Soup检索有问题的网页。
2. 使用awk查找所有未指向您的域的URL

我会推荐“美丽汤”而不是屏幕抓取技术。

如果命令行不是强制性的，则可以使用“ 复制所有链接” Firefox扩展。