注意：由于此答案的完整版本超出了Stack Overflow的长度限制，因此您需要前往GitHub阅读扩展版本，并获得更多提示和详细信息。
为了阻止抓取（也称为Web 抓取，屏幕抓取，Web数据挖掘，Web收集或Web数据提取），它有助于了解这些抓取器的工作方式，并通过扩展来阻止它们正常工作。
刮板有多种类型，每种都有不同的工作方式：
蜘蛛（例如Google的漫游器或HTtrack等网站复印机）会递归地跟踪到其他页面的链接以获取数据。这些有时有时用于有针对性的抓取，以获取特定的数据，通常与HTML解析器结合使用以从每个页面提取所需的数据。
Shell脚本：有时，常用的Unix工具用于抓取：Wget或Curl下载页面，而Grep（Regex）提取数据。
HTML解析器，例如基于Jsoup，Scrapy等的解析器。类似于基于shell脚本的正则表达式，它们的工作原理是基于HTML模式从页面提取数据，通常忽略其他所有内容。
例如：如果您的网站具有搜索功能，则此类刮板可能会提交搜索请求，然后从结果页面HTML中获取所有结果链接及其标题，以便专门仅获取搜索结果链接及其标题。 。这些是最常见的。
屏幕抓取工具，例如基于 Selenium或PhantomJS，它们可以在真实的浏览器中打开您的网站，运行JavaScript，AJAX等，然后通过以下方式从网页中获取所需的文本：
Web爬网服务，例如ScrapingHub或和服。实际上，有些人的工作是弄清楚如何抓取您的网站并提取内容供他人使用。
毫不奇怪，专业的抓取服务最难以阻止，但是如果您很难弄清楚如何抓取您的网站，那么这些人（以及为此付费的人）可能不会为您的网站而烦恼。
将您的网站嵌入带有框架的其他网站页面中，并将您的网站嵌入移动应用程序中。
从技术上讲，移动应用程序（Android和iOS）可以嵌入网站，并注入自定义CSS和JavaScript，从而完全改变页面的外观。
人工复制-粘贴：人们会复制并粘贴您的内容，以便在其他地方使用。
这些不同类型的刮板之间有很多重叠，即使使用不同的技术和方法，许多刮板的行为也将相似。
这些技巧主要是我自己的想法，编写刮板时遇到的各种困难，以及来自Internet网上的一些信息和想法。
如何停止刮
您无法完全阻止它，因为无论您做什么，坚定的刮板仍然可以弄清楚如何刮。但是，您可以通过执行以下操作来停止大量抓取操作：
监控您的日志和流量模式；如果您发现异常活动，请限制访问权限：
定期检查您的日志，如果发现异常活动指示自动访问（爬网程序），例如来自同一IP地址的许多类似操作，则可以阻止或限制访问。
具体来说，一些想法：
速率限制：
仅允许用户（和刮板）在特定时间内执行有限数量的操作-例如，仅允许每秒从任何特定IP地址或用户进行几次搜索。这将减慢刮板的速度，并使它们无效。如果动作完成得比真实用户快或快，您还可以显示验证码。
检测异常活动：
如果您看到异常活动，例如来自特定IP地址的许多类似请求，有人看着过多的页面或执行异常数量的搜索，则可以阻止访问，或显示用于后续请求的验证码。
不要只按IP地址监控和限制速率-也可以使用其他指标：
如果您设置了限制或速率限制，则不要仅基于每个IP地址进行限制；您可以使用其他指标和方法来识别特定用户或抓取工具。可以帮助您识别特定用户/刮板的一些指标包括：
例如，如果您从一个IP地址收到许多请求，则所有请求都使用相同的用户代理，屏幕大小（由JavaScript确定）和用户（在这种情况下为抓取工具）总是以相同的方式并在定期间隔，可能是屏幕刮板；并且您可以暂时阻止类似的请求（例如，阻止来自该特定IP地址的具有该用户代理和屏幕尺寸的所有请求），这样您就不会在该IP地址上给实际用户带来不便。如果共享Internet连接。
您还可以更进一步，因为您可以识别类似的请求，即使它们来自不同的IP地址，也表示分布式抓取（使用僵尸网络或代理网络的抓取器）。如果收到许多其他相同的请求，但它们来自不同的IP地址，则可以阻止。同样，请注意不要无意间阻止了真实用户。
这对于运行JavaScript的屏幕抓取工具可能是有效的，因为您可以从中获取很多信息。
有关安全堆栈交换的相关问题：
代替临时阻止访问，请使用验证码：
实施速率限制的简单方法是在一段时间内临时阻止访问，但是使用验证码可能更好，请参阅下文中的验证码部分。
需要注册并登录
如果您的网站可行，则需要创建帐户才能查看您的内容。这对于刮板来说是很好的威慑力，但是对于实际用户也是很好的威慑力。
- 如果需要创建和登录帐户，则可以准确跟踪用户和刮板操作。这样，您可以轻松地检测何时使用特定帐户进行抓取并禁止它。速率限制或检测滥用（例如在短时间内进行大量搜索）之类的事情变得更加容易，因为您可以识别特定的抓取工具，而不仅仅是IP地址。
为了避免脚本创建多个帐户，您应该：
要求创建帐户来查看内容将驱使用户和搜索引擎离开；如果您需要创建帐户才能查看文章，则用户将转到其他地方。
阻止来自云托管和抓取服务IP地址的访问
有时，将从Web托管服务（例如Amazon Web Services或GAE或VPS）运行抓取工具。限制来自此类云托管服务使用的IP地址的请求对您网站的访问（或显示验证码）。
同样，您也可以限制来自代理或VPN提供商使用的IP地址的访问，因为爬虫可能会使用此类代理服务器来避免检测到许多请求。
请注意，通过阻止来自代理服务器和VPN的访问，将会对真实用户产生负面影响。
如果您阻止，请使您的错误消息不再描述
如果您确实要阻止/限制访问，则应确保不要告诉刮板是什么原因导致刮板，从而为他们提供有关如何修复刮板的线索。因此，一个糟糕的主意将是显示错误页面，其中包含以下文本：
您IP地址的请求太多，请稍后再试。
错误，不存在用户代理标头！
而是显示一条友好的错误消息，该消息不会告诉刮板是什么原因造成的。像这样的东西要好得多：
- 抱歉，出了一些问题。如果
helpdesk@example.com问题仍然存在，您可以通过联系联系支持。
如果实际用户看到这样的错误页面，这对用户也更加友好。您还应该考虑显示用于后续请求的验证码，而不是硬阻止，以防真实用户看到错误消息，从而您不会阻止并因此导致合法用户与您联系。
如果您怀疑刮板正在访问您的网站，请使用验证码。
验证码（“完全自动化的测试可以区分计算机和人”）对于阻止刮板非常有效。不幸的是，它们在刺激用户方面也非常有效。
这样，当您怀疑可能的刮板并希望停止刮板时，如果它们不是刮板而是真正的用户，则它们也将在不阻止访问的情况下很有用。如果您怀疑刮板，则可能需要考虑在允许访问内容之前显示验证码。
使用验证码时要注意的事项：
不要自己动手，使用类似Google的reCaptcha之类的东西：它比自己实现验证码容易得多，比您可能会想出的一些模糊和扭曲的文本解决方案更易于使用（用户通常只需要勾选一个方框即可） ），而且脚本编写者要解决的问题比从您的网站提供的简单图片还要难得多
不要在HTML标记中包含针对验证码的解决方案：我实际上已经看到一个网站在页面本身中（尽管隐藏得很好）具有针对验证码的解决方案，因此非常无用。不要做这样的事情。同样，使用诸如reCaptcha之类的服务，也不会出现此类问题（如果使用正确）。
验证码可以批量解决：有一些验证码解决服务，可以由实际的低薪人员来批量解决验证码。同样，在这里使用reCaptcha是一个好主意，因为它们具有保护功能（例如，用户为解决验证码所花费的时间相对较短）。除非您的数据确实有价值，否则不太可能使用这种服务。
将您的文本内容作为图像显示
您可以将文本渲染到图像服务器端，然后将其显示出来，这将妨碍简单的抓取工具提取文本。
但是，这对屏幕阅读器，搜索引擎，性能以及几乎所有其他方面都是不利的。在某些地方，这也是非法的（由于无障碍环境，例如《美国残疾人法》），而且某些OCR也很容易规避，所以不要这样做。
您可以使用CSS Sprite进行类似的操作，但是会遇到相同的问题。
不要公开完整的数据集：
如果可行，请不要为脚本/机器人提供一种获取所有数据集的方法。例如：您有一个新闻站点，其中包含很多单独的文章。您可以通过现场搜索来搜索这些文章，以使这些文章无法访问；如果您没有所有文章的列表，站点上文章及其URL则只能通过搜索来访问这些文章。特征。这意味着想要将所有文章从您的网站上删除的脚本将不得不搜索所有可能出现在文章中的短语，以便找到所有短语，这将很耗时，效率极低并且有望使刮板放弃。
如果出现以下情况，这将无效：
- 机器人/脚本无论如何都不想要/需要完整的数据集。
- 您的文章是通过类似于的URL提供的
example.com/article.php?articleId=12345。这（和类似的东西）将使刮板可以简单地遍历所有articleIds并以这种方式请求所有物品。
- 还有其他方法可以最终找到所有文章，例如通过编写脚本来跟随文章中指向其他文章的链接。
- 搜索“ and”或“ the”之类的内容几乎可以揭示所有内容，因此需要注意。（您可以通过仅返回前10或20个结果来避免这种情况）。
- 您需要搜索引擎才能找到您的内容。
不要公开您的API，端点和类似内容：
确保您不公开任何API，即使是无意间也是如此。例如，如果您正在Adobe Flash或Java Applets（禁止上帝！）中使用AJAX或网络请求来加载数据，那么查看页面中的网络请求并弄清楚这些请求的去向是很简单的，并且然后进行反向工程，并在刮板程序中使用这些端点。确保对端点进行混淆处理，使它们难以为他人使用，如所述。
要阻止HTML解析器和抓取器：
由于HTML解析器的工作原理是基于HTML中可识别的模式从页面中提取内容，因此我们可以有意地更改这些模式以破坏这些抓取工具，甚至将它们拼凑在一起。这些技巧大多数也适用于其他刮板，例如蜘蛛和筛板刮板。
经常更改您的HTML
直接处理HTML的抓取工具通过从HTML页面的特定部分（可识别的部分）提取内容来进行处理。例如：如果您网站上的所有页面都有一个divID为的ID（article-content其中包含文章的文本），那么编写脚本来访问您网站上所有文章页面并提取article-contentdiv 的内容文本是很简单的。在每个文章页面和页眉上，抓取工具都以可在其他地方重复使用的格式来存储您网站中的所有文章。
如果您经常更改HTML和页面结构，则此类抓取工具将不再起作用。
您可以频繁地甚至甚至自动地更改HTML中元素的id和元素类。因此，如果您div.article-content变成div.a4c36dda13eaf0，并且每周更换一次，则刮板最初可以正常工作，但一周后会损坏。请确保也更改ID /类的长度，否则抓取工具将用于div.[any-14-characters]查找所需的div。还要提防其他类似的孔。
如果没有办法从标记中找到所需的内容，则抓取工具将按照HTML的结构方式进行查找。因此，如果您所有的文章页面都是相似的，而div在a div后面的每个内部h1都是文章内容，则抓取工具将根据该内容获得文章内容。再次，要打破这一点，您可以定期或随机地向HTML添加/删除额外的标记，例如。添加额外div的或span。使用现代服务器端HTML处理，这应该不太困难。
注意事项：
这将是乏味且难以实现，维护和调试的。
您将阻止缓存。特别是如果您更改HTML元素的ID或类，这将需要在CSS和JavaScript文件中进行相应的更改，这意味着每次更改它们时，都必须由浏览器重新下载它们。对于重复访问者，这将导致更长的页面加载时间，并增加服务器负载。如果您仅每周更改一次，则不会有太大问题。
聪明的抓取工具仍然可以通过推断实际内容的位置来获取您的内容，例如 知道页面上的一大段文字很可能是实际的文章。这使得仍然可以从页面中查找并提取所需的数据。锅炉管正是这样做的。
本质上，请确保脚本很难为每个相似的页面找到实际的所需内容。
另请参阅如何防止依赖XPath的爬网程序获取页面内容，以获取有关如何在PHP中实现的详细信息。
根据用户位置更改HTML
这有点类似于上一个技巧。如果您根据用户的位置/国家/地区（由IP地址确定）提供不同的HTML，则可能会破坏提供给用户的抓取工具。例如，如果某人正在编写一个移动应用程序，该应用程序会从您的网站上抓取数据，则该应用程序最初可以正常运行，但在实际分发给用户时会中断，因为这些用户可能在不同的国家，因此获得了不同的HTML，嵌入式刮板并非旨在消耗。
经常更改您的HTML，这样做会积极地与刮板配合！
示例：您的网站上有一个搜索功能，位于example.com/search?query=somesearchquery，它会返回以下HTML：
<div class="search-result">
<h3 class="search-result-title">Stack Overflow has become the world's most popular programming Q & A website</h3>
<p class="search-result-excerpt">The website Stack Overflow has now become the most popular programming Q & A website, with 10 million questions and many users, which...</p>
<a class"search-result-link" href="/stories/story-link">Read more</a>
</div>
(And so on, lots more identically structured divs with search results)
正如您可能已经猜到的那样，这很容易抓取：抓取器所需要做的就是用查询命中搜索URL，然后从返回的HTML中提取所需的数据。除了如上所述定期更改HTML外，您还可以在旧标记中保留旧的ID和类，用CSS隐藏它，并用假数据填充它，从而使刮板中毒。更改搜索结果页面的方法如下：
<div class="the-real-search-result">
<h3 class="the-real-search-result-title">Stack Overflow has become the world's most popular programming Q & A website</h3>
<p class="the-real-search-result-excerpt">The website Stack Overflow has now become the most popular programming Q & A website, with 10 million questions and many users, which...</p>
<a class"the-real-search-result-link" href="/stories/story-link">Read more</a>
</div>
<div class="search-result" style="display:none">
<h3 class="search-result-title">Visit Example.com now, for all the latest Stack Overflow related news !</h3>
<p class="search-result-excerpt">Example.com is so awesome, visit now !</p>
<a class"search-result-link" href="http://example.com/">Visit Now !</a>
</div>
(More real search results follow)
这意味着为基于类或ID从HTML提取数据而编写的抓取工具似乎将继续起作用，但是它们将获得伪造的数据甚至广告，而真正的用户将看不到这些数据，因为它们被CSS隐藏了。
用刮刀拧紧：在页面中插入伪造的，不可见的蜜罐数据
在前面的示例上添加内容，您可以将不可见的蜜罐项目添加到HTML中以捕获抓取工具。可以添加到先前描述的搜索结果页面的示例：
<div class="search-result" style="display:none">
<h3 class="search-result-title">This search result is here to prevent scraping</h3>
<p class="search-result-excerpt">If you're a human and see this, please ignore it. If you're a scraper, please click the link below :-)
Note that clicking the link below will block access to this site for 24 hours.</p>
<a class"search-result-link" href="/scrapertrap/scrapertrap.php">I'm a scraper !</a>
</div>
(The actual, real, search results follow.)
就像获取页面上所有其他真实搜索结果一样，为获得所有搜索结果而编写的抓取器将对此进行处理，并访问该链接，以查找所需的内容。真正的人甚至根本不会看到它（因为它被CSS隐藏），并且不会访问该链接。正版和理想的蜘蛛（例如Google的蜘蛛）也不会访问该链接，因为您不允许/scrapertrap/使用robots.txt。
您可以scrapertrap.php做一些事情，例如阻止访问它的IP地址的访问，或者对来自该IP的所有后续请求强制验证码。
不要忘记/scrapertrap/在robots.txt文件中禁止蜜罐（），以免搜索引擎机器人陷入其中。
您可以/应该将其与之前频繁更改HTML的技巧结合起来。
也应经常更改此方法，因为刮板最终将学会避免这种情况。更改蜜罐URL和文本。还需要考虑更改用于隐藏的内联CSS，并改用ID属性和外部CSS，因为抓取工具将学会避免style使用CSS属性隐藏内容的任何东西。有时也尝试仅启用它，这样刮板便会开始工作，但过一会儿就会损坏。这也适用于前面的技巧。
恶意人员可以通过共享指向您的蜜罐的链接，甚至将该链接嵌入图像中的某个位置（例如在论坛上）来阻止实际用户的访问。经常更改URL，并使任何禁止时间都相对较短。
如果检测到刮板，则提供虚假和无用的数据
如果您发现明显是刮板的内容，则可以提供伪造和无用的数据；这会损坏抓取工具从您的网站获取的数据。您还应该使得不可能将此类假数据与真实数据区分开，以使抓取工具不知道它们被搞砸了。
例如：您有一个新闻网站；如果您检测到一个刮板，而不是阻止访问，则提供伪造的，随机生成的文章，这会破坏刮板获得的数据。如果您将假数据与真实数据区分开，那么刮板将很难获得他们想要的东西，即实际的真实数据。
如果用户代理为空/丢失，则不接受请求
通常，懒惰的抓取工具不会随请求一起发送用户代理标头，而所有浏览器以及搜索引擎抓取工具都将发送。
如果收到不存在用户代理标头的请求，则可以显示验证码，或者简单地阻止或限制访问。（或如上所述提供虚假数据，或其他。）
进行欺骗是微不足道的，但是作为一种针对写得不好的刮板的措施，值得实施。
如果用户代理是常用的刮板，则不接受请求；刮板使用的黑名单
在某些情况下，抓取工具将使用用户代理，而实际的浏览器或搜索引擎蜘蛛都不会使用该用户代理，例如：
- “ Mozilla”（仅此而已。我已经看到了一些有关在此处使用它进行抓取的问题。真正的浏览器永远不会仅使用它）
- “ Java 1.7.43_u43”（默认情况下，Java的HttpUrlConnection使用类似的东西。）
- “ BIZCO EasyScraping Studio 2.0”
- “ wget”，“ curl”，“ libcurl” ..（Wget和cURL有时用于基本抓取）
如果您发现网站上的抓取工具使用了特定的用户代理字符串，而实际的浏览器或合法的蜘蛛没有使用该字符串，则也可以将其添加到黑名单中。
如果它不请求资产（CSS，图像），则它不是真正的浏览器。
真正的浏览器将（几乎总是）请求并下载资产，例如图像和CSS。HTML解析器和抓取器将不会，因为它们仅对实际页面及其内容感兴趣。
您可以将请求记录到您的资产中，并且如果您看到仅针对HTML的大量请求，则可能是刮板。
请注意，搜索引擎机器人，古老的移动设备，屏幕阅读器和配置错误的设备也可能不会请求资产。
使用并要求Cookie；使用它们来跟踪用户和刮板操作。
您可以要求启用Cookie才能查看您的网站。这将阻止没有经验的新手和刮板编写者，但是刮板很容易发送cookie。如果确实使用并需要它们，则可以与它们一起跟踪用户和刮板操作，从而根据每个用户而不是每个IP实施限速，阻止或显示验证码。
例如：当用户执行搜索时，设置一个唯一的标识cookie。查看结果页面时，请验证该cookie。如果用户打开了所有搜索结果（您可以从cookie中分辨出），则可能是刮板。
使用cookie可能无效，因为刮板也可以随其请求一起发送cookie，并根据需要将其丢弃。如果您的站点仅适用于cookie，那么您还将阻止已禁用cookie的真实用户的访问。
请注意，如果您使用JavaScript设置和检索Cookie，则会阻止不运行JavaScript的抓取工具，因为它们无法通过请求检索和发送Cookie。
使用JavaScript + Ajax加载您的内容
页面加载后，您可以使用JavaScript + AJAX加载内容。这将使不运行JavaScript的HTML解析器无法访问内容。这通常可以有效阻止新手和经验不足的程序员编写刮板。
意识到：
混淆标记，来自脚本的网络请求以及其他所有内容。
如果使用Ajax和JavaScript加载数据，请模糊处理传输的数据。举例来说，您可以在服务器上对数据进行编码（使用诸如base64之类的简单代码或更复杂的数据），然后在通过Ajax提取数据之后将其解码并显示在客户端上。这将意味着检查网络流量的人员不会立即看到您的页面如何工作并加载数据，并且对于某人直接从您的终结点请求请求数据将变得更加困难，因为他们将不得不对您的解扰算法进行反向工程。
如果确实使用Ajax来加载数据，则应该不首先加载页面就很难使用端点，例如，通过要求一些会话密钥作为参数，您可以将其嵌入到JavaScript或HTML中。
您还可以将混淆后的数据直接嵌入到初始HTML页面中，并使用JavaScript对其进行反混淆并显示，这样可以避免额外的网络请求。这样做将使使用不运行JavaScript的纯HTML解析器提取数据变得更加困难，因为编写刮板的人将不得不对JavaScript进行反向工程（您也应该对其进行混淆）。
您可能需要定期更改混淆方法，以破坏发现问题的刮板。
但是，执行以下操作有几个缺点：
非技术：
杂：
还有一些商业性的刮擦保护服务，例如Cloudflare或Distill Networks的防刮擦（此处详细介绍了它的工作方式），这些服务可以为您做更多的事情。
在实际用户的可用性和防刮擦性之间找到平衡：您所做的一切都会以一种或另一种方式对用户体验产生负面影响，并做出让步。
不要忘记您的移动网站和应用程序。如果您有移动应用程序，也可以对其进行屏幕截图，并可以检查网络流量以确定其使用的REST端点。
抓取工具可以抓取其他抓取工具：如果有一个网站上有您抓取的内容，其他抓取工具可以从该抓取工具的网站抓取。
进一步阅读：
