您在Google上找不到什么?[关闭]


18

Google声称是公平的,在大多数情况下,搜索互联网以获取其蜘蛛可以访问的所有内容符合公司的利益。我想知道:

  • Google无法提供哪种类型的(公开访问的)内容?
  • Google是否有无法检索的特定类型的内容?

特别是对Google自己的文档的引用会特别棒。


既然欧盟已经颁布了《被遗忘的权利》,那么我们将无法找到很多东西。这里有些事情已经被“遗忘”了。
samthebrand 2014年

Answers:


21

关于事物类型的一些想法:

  1. robots.txt文件明确禁止的内容将从Google索引中排除。
  2. 未与Google已知的其他网站链接的网站。也就是说,可能有很多网站没有从可见页面链接,除非蜘蛛蜘蛛通过网站站长工具手动提交给Google,否则这些网站永远不会被Google蜘蛛找到。
  3. 您需要填写的Web表单后面的网站。
  4. 人口普查图像。由于内容是经常手动索引的图像,因此通常可以在ancestry.com等付费网站上找到。

了解有关深度网络的更多信息


2
第二点是不对的。您可以通过网站站长工具网站提交给Google ,即使未从其他网站链接到该网站,该网站也会被编入索引。
亚历克斯(Alex)

那是真实的。很好的澄清。
amh 2012年

3
实际上,我不同意第二点。我的PC上有一个测试Web服务器,该服务器已建立索引。我通过检查访问日志发现了这一点。
巴库丹2012年

2
我已经注册了新域,开始开发它们,几天后发现Googlebot对其进行了爬网。在我意识到之前,我一直认为这有点令人毛骨悚然- 我可能不是第一个拥有此域名的人 :)他们没有透露具体细节,但是我敢肯定,他们会跟踪人们认为足够重要的域名以进行注册注册至少有一些人至少在一定时间访问过
Tim Post

6

除了Twitter之外,Google对Tumblr的索引还不够好。使用Tumblr搜索更容易找到有关Tumblr的博客文章。此外,Google协作平台上的所有内容均未(或几乎未)被索引。如果您启动Google网站,请获取您自己的域。

那些没有定期更新的小型博客通常会从搜索结果中删除。加上他们认为是sp口的任何东西。


5

好吧,即使大多数Twitter内容都是公开的,也不会被Google索引。Google曾经可以使用它,但是自从他们的协议到期以来,情况已不再如此。

来源


确实如此,该问题询问Google无法提供哪些“高质量内容”。大多数Twitter不符合该标准:)不过,我确实看到奇怪的推文出现在Google搜索中。
HappyTimeGopher 2012年

4

这取决于您所在的国家/地区。在德国,它没有显示出政府认为对您不利的数千个站点,并且列表每年都在增加成千上万个。

Google是互联网审查的动力。如果您想要免费的互联网,请使用一些非邪恶的公司,例如DuckDuckGo或其他。




1

网站内容太多,以至于Google根本没有时间(或倾向)将所有内容编入索引。

没有可抓取的网站地图并且要求Google提供搜索字词以访问该网站上可用结果的网站可能未完全索引。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.