搜寻我的网站并帮助我找到无效链接和未链接文件的好工具

21

我有一个相当大的旧站点，实际上有成千上万个PDF，这些PDF有时在数据库中占了比重，但通常只是页面上的链接，并且存储在该站点的大多数目录中。

我已经编写了一个php搜寻器来跟踪网站上的所有链接，然后将其与目录结构的转储进行比较，但是有没有更简单的方法？

site-maintenance web-crawlers dead-links

— 克里斯特先生
source

另请参阅webmasters.stackexchange.com/questions/13310/…，后者也询问拼写检查。

— James Skemp 2011年

15

我用过Xenu的Link Sleuth。它运行良好，只是请确保不要自己使用DOS！

— 文本文件
source

1

选中选项中的“孤立文件”选项，它将提示您通过FTP登录到您的站点。

— pelms，2010年

这样是否也可以处理您必须登录才能访问该页面的网站？

— Donny V.

@Jim如何查看断开链接所在的页面？

— 罗布2012年

搜寻完成后，将有一个报告告诉您相关信息。根据站点的大小和断开的链接的数量，可能很难解析。我通常会在抓取之前调整报告选项，然后将报告作为文本文件打开（因为它是.htm），并删除无关紧要的内容以使其更易于管理。希望这可以帮助。

— plntxt 2012年

6

如果使用Windows 7，最好的工具是IIS7的SEO Toolkit 1.0。它是免费的，您可以免费下载。

该工具将扫描任何站点，并告诉您所有无效链接在哪里，加载哪些页面需要花费很长时间，哪些页面缺少标题，重复的标题，相同的关键字和描述以及哪些页面破坏了HTML。

— 本·霍夫曼
source

1

我个人使用了它，它非常适合扫描，当然也适合SEO，但是Xenu中的FTP检查只是解决了这一问题。

— MrChrister

4

尝试使用W3C的开源工具Link Checker。您可以在线使用它或在本地安装它

— 姆瓦克
source

1

如果您有unix命令行（我在Linux，MacOS和FreeBSD上使用过），我非常喜欢linklint进行链接检查大型静态站点。有关安装说明，请参见其网站。安装后，我将创建一个名为的文件check.ll并执行以下操作：

linklint @check.ll

这是我的check.ll文件的样子

# linklint
-doc .
-delay 0
-http
-htmlonly
-limit 4000
-net
-host www.example.com
-timeout 10

进行抓取www.example.com并生成带有交叉引用报告的HTML文件，以查找损坏，丢失等情况。

— 阿龙
source

1

Microsys有多种产品，特别是它们的A1 Sitemap Generator和A1网站分析器，它们可以抓取您的网站并报告您可能会想到的一切。

其中包括断开的链接，还包括所有页面的表格视图，因此您可以比较诸如相同的<title>和元描述标签，nofollow链接，网页上的meta noindex以及很多只需要敏锐的眼睛和快速修复。

— 叶夫根尼
source

1

Link Examiner也是一个非常好的免费软件，可以满足您的需求。

— 暗
source