Questions tagged «internet-archive»

是否有任何机制可以控制网站上Internet档案的存档？我知道禁止添加所有页面： User-agent: ia_archiver Disallow: / 我可以告诉机器人我希望他们每月或每年一次爬网我的网站吗？ 我的网站/页面由于资产未被提取而无法/未正确存档。如果要抢占该网站，是否可以告诉Internet Archive bot它需要什么资产？

13 cache  internet-archive 

我有一个网站，我通常不希望被搜索引擎索引，但我希望将其永久保存在archive.org上。所以我robots.txt从这里开始： User-agent: * Disallow: / 今天，根据archive.org，我必须在其中添加以下内容robots.txt以允许其漫游器： User-agent: ia_archiver Disallow: 但是，至少在几年前，我已经完成了他们的指示，至少添加了以下内容： User-agent: archive.org_bot Disallow: 然后还有另一个消息来源声称您必须在Disallows上加上两个，再加上一个： User-agent: ia_archiver-web.archive.org Disallow: 请注意，Disallow: /如果您不希望漫游器存档您的网站，则需要输入。 IA bot发生了变化吗？如果是这样，什么时候？ 推荐的方法是什么？我现在是否应该允许所有这三个名称，并希望IA将来不再更改其机器人名称？

10 web-crawlers  robots.txt  internet-archive