适用于Ubuntu的网络蜘蛛

我正在寻找适用于Ubuntu的网络蜘蛛，例如Webripper-Calluna软件。您可以像下载一样下载整个网站

wget -r -m example.com

但是我要寻找的功能是您可以输入搜索词（例如“ Linux”），然后它会搜索Web并下载它们。Ubuntu上有像这样的程序吗？

您可以使用Google快讯来创建传递到供稿的某种搜索页面，然后使用RSS阅读器或Thunderbird来阅读它们。

我将Thunderbird用于RSS。我不知道是否有RSS读者可以将提要导出为简单的html。

给httrack（CLI）或webhttrack（Web界面）一个镜头，它在Universe存储库中。我不确定您描述的搜索字词功能，但确实提供了许多易于配置的选项。

http://packages.ubuntu.com/de/oneiric/webhttrack

HTTrack网站复印机-免费软件离线浏览器（GNU GPL）

您可以尝试使用http开膛手。

以下是网站上发布的一些功能：

Free Software (GPL 3)
Generic (works with almost every website)
Runs on GNU/Linux and Windows
Nearly undetectable / blockable by servers
Built with python and pygtk

^屏幕截图

观看来自httpripper开发人员本人的教程：

• httpripper.ogg。

下载链接：

• httpripper_1.1.1_all.deb

它在Ubuntu 11.10 x64下对我有用

Perl的CPAN有足够的模块。您只需要一点Perl脚本。

特别要看一下WWW：Mechanize模块中的WWW：Mechanize模块。