Google Web搜索API已过时，现在有哪些替代方案？[关闭]

322

Google Web Search API已被弃用，并已替换为Custom Search API（请参阅http://code.google.com/apis/websearch/）。

我想搜索整个网络，但是使用新的API只能搜索自定义网站。

有没有办法以编程方式搜索整个网络？我能够从Java程序中使用JSON查询旧API。

google-api  deprecated  google-search  google-custom-search 
— 担
source
3
好吧，我对此进行了大量研究，似乎唯一的解决方案是Yahoo Boss
— Dan 2010年
定制搜索API并不是大多数人想要的：-/让searchapi.io外观一目了然！
— Stan Smulders，2015年
我已经在各种搜索API上完成了POC，这些搜索API提供了很多功能并且很容易在几分钟之内实现。Swiftype（swiftype.com），Cludo（cludo.com/en），Algolia（algolia.com/doc）也是我已经实现和测试的API。我也可以提供详细的答案，但是这个问题已经关闭。
— Ashish Kumar
2
最好的解决方案是使用第三方服务，例如SerpApi
— Hartator，
— neverMind9 '18 -10-21

Answers:

32

您可以像浏览器一样通过它们发送它们，然后解析html，这是我一直以来所做的，即使对于Youtube之类的东西也是如此。

— Zimm3r
source
64
有人告诉我Google的服务条款禁止抓蜘蛛……
— Steven A. Lowe 2010年
52
从TOS：“您明确同意不访问（或试图访问）通过任何自动方式（包括使用脚本或网络爬虫的）......任何服务”
— ændrük
18
“违反服务提供商的服务条款”永远不是一个好建议。解析网页的过程是无休止地从一天到一天中断的，这是可怕的建议-这就是为什么它被否决了而不是被否决了的原因。
— WhyNotHugo 2012年
143
是的，它违反了服务条款，但是我个人不会为此担心。毕竟，他们已经赚了一大笔钱来刮擦其他人的网站，但Google可以应付一点刮擦。
— jimbo2087
106
加油 别那么天真。Google不能强迫ToS放任自流。为了违反服务条款，您必须首先同意（以书面形式，或单击“是，我接受条款”之类的按钮）。想一想：我在网页上放了一个ToS，每个访问该网页的人都必须给我$ 10000。我可以对访客执行此服务条款吗？马上就要我了。
— Migrate2Lazarus请参阅我的个人资料
482

是的，Google自定义搜索现在已经替换了旧的Search API，但是您仍然可以使用Google自定义搜索来搜索整个网络，尽管自定义搜索设置中的步骤并不明显。

要创建可搜索整个网络的Google自定义搜索引擎，请执行以下操作：

  1. 在Google自定义搜索首页（http://www.google.com/cse/）中，单击创建自定义搜索引擎。
  2. 输入搜索引擎的名称和描述。
  3. 在“定义您的搜索引擎”下的“要搜索的网站”框中，输入至少一个有效的URL（现在，只需输入www.anyurl.com即可跳过此屏幕。稍后会详细介绍）。
  4. 选择所需的CSE版本并接受服务条款，然后单击“下一步”。选择所需的布局选项，然后单击“下一步”。
  5. 单击“下一步”部分下的任何链接，以导航到“控制面板”。
  6. 在左侧菜单的“控制面板”下，单击“基本”。
  7. 在“搜索首选项”部分中，选择“搜索整个网络，但强调包含的网站”。
  8. 单击保存更改。
  9. 在左侧菜单的“控制面板”下，单击“站点”。
  10. 删除您在初始设置过程中输入的站点。

现在，您的自定义搜索引擎将搜索整个网络。

价钱

  • Google自定义搜索每天免费为您提供100个查询。
  • 之后，您需要为每1000个查询支付$ 5。
  • 每天最多有10,000个查询。

来源：https：//developers.google.com/custom-search/json-api/v1/overview#Pricing

  • 搜索质量远低于普通的Google搜索（没有同义词，“智能”等）
  • 看来Google甚至计划完全关闭此服务。
— 曼谷人
source
26
谢谢你 希望这是一个有效的程序，而不是等待Google堵塞的漏洞！
— Mazatec
9
谢谢！这可能是Internet上唯一解决我问题的答案。令人困惑的是，为什么Google会终止对其核心服务的直接API支持。
— spamguy
7
但是如何与json一起使用呢？
— nawara 2013年
61
警告：我们使用免费版本进行开发，但是要升级到付费版本（进行100多次搜索），谷歌会强迫您关闭“搜索整个网络，但强调包含的网站”
— Bryan Larsen
5
“ 2017年4月1日，谷歌将停止销售Google Site Search。所有新购买和更新都必须在此日期之前进行。该产品将在2018年4月1日之前完全关闭。”
— Gajus
55

与其竞争对手（如下）或与其他Google API相比，Google自定义搜索（效果最好的答案中所主张的）效果很好，但价格却非常昂贵。它有一个小的免费套餐（每天100个查询），而且价格很高，每1000个查询5美元。

他们提供了升级到站点搜索的选项，该站点的价格略高，但这是为了搜索一个站点（您自己的站点），因此实际上是完全不同的-不是升级。

主要的替代方法似乎是：

Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
免费套餐为5000q /月，价格从每便士5个查询开始，没有硬限制。

更新：在2016年底，此API被关闭，以支持其Azure对应的“ Cognitive Services Bing搜索API”：https :
//azure.microsoft.com/zh-cn/services/cognitive-services/search/

价格图表请参见此处，起价为每千次交易3美元/月。除非我错过了一些东西，否则它会非常昂贵。

Yahoo BOSS Search API
更新：2016年3月31日停产。http: //developer.yahoo.com/boss/search/
整个网络搜索的价格大约为12个查询/便士。

还有一些我以前从未听说过的东西：

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[已停产-如下所述]

在本SO帖子中对其中一些进行了讨论。
[由于话题不清而关闭，现在消失了]

— 汤姆
source
2
Bing Search API版本5现在允许每月在所有Bing Search API（Web，图像，视频，新闻搜索）中进行多达1,000笔交易-microsoft.com/cognitive-services/en-us/pricing。我整理了一些样本-mvark.blogspot.in/2016/06/…–
— mvark
wholeweb.com已停止服务，如下所示wholeweb.com/services
— Wessam El Mahdy
2016年12月15日，Bing Web Search API将在Azure市场的认知服务下（azure.microsoft.com/en-us/services/cognitive-services/search）进行移动，这需要电话和信用卡验证才能进行订阅（即使免费的）。
— 吉拉德·玛雅妮
从Bing API中：“ DataMarket和Data Services已停用，并将在2016年12月31日之后停止接受新订单。现有的订阅将在2017年3月31日起停用并取消。如果您有任何选择，请与您的服务提供商联系想要继续服务。”
— Dmitri Zaitsev
感谢您指出更改-我已经相应更新了答案。
— 汤姆（Tom）
27

这是“自定义搜索控制面板”底部的一个选项：“搜索站点”，您可以选择“搜索整个网络，但强调包含的站点”

自定义搜索控制面板-搜索站点

— 义书坊
source
1
它仍然对您有用吗？
— Dejell 2015年
是的，它仍然有效。
5
当您升级到付费搜索时，Google会强迫您关闭该选项。免费提供100个搜索限制。
— 布赖恩·拉尔森
1
@Yishu，为什么页面https://support.google.com/customsearch/answer/141877?hl=zh_CN指出“ 您无法将Google Site Search配置为搜索整个网络 ”？
— Pacerier 2015年
@Pacerier，我对此一无所知。也许政策已经改变了？
— Yishu Fang
5

我刚刚从Common Crawl碰到了这一点。

http://www.commoncrawl.org/

可能是我们都在寻找的答案！

— 担
source
3
它的索引有限，每年更新一次。最后，它非常昂贵，因为您必须插入Amazon S3。
— Guillaume Lebourgeois
@GuillaumeLebourgeois，贵吗？我认为那不是真的。这是一个非营利组织。整个102 TB的数据可免费下载。
— Pacerier，
费用是用于连接到您可以在其中访问的AWS的。如果您是学生，则有资格享受他们的免费课程，但仍可能会产生转学费用等；如果您不在免费套餐中，则会产生运行费用。
— tripleee
常见的抓取功能现在每月更新一次
— 杰克·塔克
4

在文档上方有一个注释：

注意：Google Web Search API已于2010年11月1日正式弃用。根据我们的弃用政策，它将继续有效，但是每天可能发出的请求数量将受到限制。因此，我们建议您转到新的“ 自定义搜索API”。

该汰换政策说，他们将继续运行API为3年。因此，如果您已经拥有使用旧API的应用程序，则不必着急更改。如果您要编写新的应用程序，请使用Custom Search API。有关如何在Python中执行此操作的信息，请参见此处的答案，但是对于任何语言，该想法都是相同的。

— 莫尼丁
source
8
而且它不是免费的。...“每1000个查询$ 5” ...非常不免费！
— UpTheCreek 2012年
1
由于三年已经过去，并且已经过去了2014/09/29，所以现在这个答案已经过时了。
— 纳法
CustomeSearchAPI不在所有网站中-而是在用户网站中
— Dejell 2015年
3

有一个名为JFreeWebSearch的免费Java API，它使用了已经提到的Faroo：http ://www.ke.tu-darmstadt.de/resources/jfreewebsearch

— 平子
source
1

您可以直接从Google自定义搜索首页（http://www.google.com/cse/）创建“无处不在”自定义搜索引擎。在添加新引擎时，您只需单击“高级”。您可以在此处提供Schema.org站点类型。“ 事物 ”是最通用的类​​型，涵盖所有网络。

— 测试信息
source
我没听懂 对你起作用吗？
— Dejell 2015年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.