8
防止漫游器抓取页面的特定部分
作为负责一个拥有论坛的小型网站的网站站长,我经常收到用户的抱怨,即内部搜索引擎和外部搜索(例如使用Google时)都完全被用户的签名污染了(他们使用了很长时间)签名,这是论坛经验的一部分,因为签名在我的论坛中非常有意义)。 因此,基本上,到目前为止,我看到两个选择: 将签名呈现为图片,并在用户单击“签名图片”时将其带到包含真实签名(带有签名中的链接等)的页面,并且该页面被设置为不可检索引擎蜘蛛)。这会消耗一些带宽并需要做一些工作(因为我需要一个HTML渲染器来生成图片等),但是显然这可以解决问题(存在一些小问题,因为签名不尊重字体的字体/颜色方案。用户,但我的用户无论如何都非常有创造力,他们的签名使用自定义字体/颜色/大小等,因此问题不大。 将网页中包含签名的每个部分标记为不可抓取。 但是我不确定稍后的内容:这可以做到吗?您可以仅将网页的特定部分标记为不可抓取吗?