网站管理员

我的托管帐户中的某些网站上存在EXTREME机器人问题。僵尸程序占用了我整个托管帐户超过98％的CPU资源和99％的带宽。这些漫游器每小时为我的网站产生超过1 GB的流量。所有这些站点的实际人流量都不超过100 MB /月。 我已经对robots.txt和.htaccess文件进行了广泛的研究，以阻止这些bot，但是所有方法均失败了。 我也将代码放在robots.txt文件中，以阻止对脚本目录的访问，但是这些漫游器（Google，MS Bing和Yahoo）会忽略规则并始终运行脚本。 我不想完全阻止Google，MS Bing和Yahoo僵尸程序，但我想限制那里的爬网率。另外，在robots.txt文件中添加抓取延迟语句不会降低机器人的速度。下面列出了我当前用于所有网站的robots.txt和.htacces代码。 我已经设置了Microsoft和Google网站管理员工具，以将抓取速度降低到绝对最小值，但是它们仍然以10次点击/秒的速度访问这些网站。 此外，每次我上载导致错误的文件时，整个VPS网络服务器都将在几秒钟内关闭，以至于由于这些bot的点击量激增，我什至无法访问该网站纠正此问题。 我该怎么做才能阻止网站流量的出现？ 在过去的几个月中，我多次尝试向我的网络托管公司（site5.com）询问此问题，他们无法帮助我解决此问题。 我真正需要的是阻止Bots运行rss2html.php脚本。我尝试了会话和Cookie，但都失败了。 robots.txt User-agent: Mediapartners-Google Disallow: User-agent: Googlebot Disallow: User-agent: Adsbot-Google Disallow: User-agent: Googlebot-Image Disallow: User-agent: Googlebot-Mobile Disallow: User-agent: MSNBot Disallow: User-agent: bingbot Disallow: User-agent: Slurp Disallow: User-Agent: Yahoo! Slurp Disallow: # Directories User-agent: * Disallow: / Disallow: …

9 php  htaccess  robots.txt 

我的竞争对手正在使用我的品牌作为他们的关键字。 我正在example.com上经营度假胜地，当用户在Google搜索上输入我的品牌名称“ example”时，我的竞争对手域就位于第一位。 他们是如何做到的？ 合法吗 如果合法，我应该如何处理这种情况？

9 google  google-adwords  competitors 

今天Google Search Console在我的网站上向我显示了一些警报 单击链接“检测到恶意软件？” 打开一个包含详细信息的页面： 但是列表“示例URL”为空，并且“下载所有示例”也下载一个空文档。 发生什么事？这似乎是错误的肯定。从文档： 如果Google Safe Browsing以前没有看到特定的二进制文件，Chrome可能会警告称该文件下载不常见，并且可能很危险。在这些情况下，如果Google安全浏览确认它是良性的，则会自动解除警告。 如果您的网站显示不常见的下载警告，您还可以 在Search Console中请求进行审核。 一天前，我已经在我的网站上下载了一些软件（由我自己构建），我已经部署了一个新版本。我已经检查了所有防病毒软件（最受欢迎），它很安全。我所有的软件都签署了具有良好证书资格的签名。 问题是：我该如何解决这个问题？ 更新 审查后，问题消失/解决。

9 seo  google  google-search-console  security 

大约一周前，我在一个网站上切换为https。我很确定自己做对了所有事情。正确设置301从http重定向到https版本。在网站站长工具中添加并验证了https版本。更新了所有内部链接。提交了新的站点地图。 尽管如此，我的许多页面（约40％）几乎都立即失去了排名。那些掉线的页面从第1页消失了。如果我搜索URL，我仍然可以看到它们已编入索引，但是否则就好像Google不知道它们存在一样。 运行测试时，SSL实验室显示“ A”，并且网站管理员工具中没有显示任何手动操作。 这真令人沮丧。我实际上并不需要SSL，但是Google最终将我吓倒了。现在，我为切换而感到遗憾，并考虑回到不安全的URL。 我还有什么想念的吗？

9 redirects  301-redirect  https 

我有一个论坛，就像大多数论坛一样，用户可以在其中发布图像。我已经在整个站点上设置了HTTPS，但是当然大多数外部图像都是使用HTTP而不是HTTPS链接的。因此，通过HTTPS加载论坛会显示混合内容警告等。 解决这个问题有哪些策略？一些图像来自我自己的站点，因此我可以重写那些URL以使用HTTPS，因为我知道它可以工作。但是对于外部URL，许多URL不能与HTTPS一起使用，因此我无法进行全面重写。 我可以将非安全图像重写为链接而不是内联图像，但这看起来并不好，并且可能会使用户感到困惑。有更好的解决方案吗？

9 https  images 

Google是否会将没有广告的网站视为更可靠的信息来源，并增加网站返回搜索结果的几率？ 我问这个有几个原因。 主要原因是页面加载速度。由于该页面上有3个AdSense广告，因此我的生产网站的加载时间大约为6-7秒。我的开发站点位于同一服务器上，是主站点的精确克隆（它们共享相同的数据库），加载时间不到2秒，并且没有任何广告。如果我从主站点删除广告，则页面加载速度将大大下降。Google是否已经考虑过并忽略广告？ 很明显，很多网站都是赚钱的网站，只是为了赚钱而挤满了广告。如果一个站点没有广告，那么很可能该站点的目的不是为了使访问该页面的人快速赚钱。Google认为这是专业人士吗？ 删除广告还可以使我将整个网站移至HTTPS，这将是AdSense打破挂锁的又一个飞跃。我只想确保值得付出收入损失，因为adsense支付了我的服务器费用。

9 seo  google-adsense  advertising  performance  google-ranking 

最近，我注意到Google正在索引包含utm_campaign，utm_source和utm_medium查询字符串参数的URL。在结果中，Google显示带有以下查询字符串的URL，而不是规范的URL： 我了解这可能是“重复内容”问题，但是我在link rel=canonical整个网站上一直使用该标签。举一个例子： [snip] <meta name="description" content="App store optimization helps discovery and rank on Google Play and the App Store. Publishers can use ASO by following these simple steps."/> <meta name="robots" content="noodp"/> <link rel="canonical" href="https://sweetpricing.com/blog/2016/11/app-store-optimization/" /> <meta property="og:locale" content="en_US" /> [snip] 我的期望是Google应该使用规范的URL进行索引。我究竟做错了什么？

9 google  canonical-url  serps 

好的，我相信这是一个棘手的问题： 因此，您有一个网站，该网站针对帖子进行了DMCA删除，该帖子收到了大量流量，因此DMCA删除可能是正确的，也可能不是正确的，但我目前没有时间或资源来与之抗争。 我的问题是，删除了DMCA的页面已经从SERPS中隐藏了，但是该帖子仍然保留在我的博客上-因为它收到了大量的流量，因此产生了大量的高质量反向链接。 .. 因此，这些反向链接发生了什么，该页面仍在站点上，但已在Google数据库中删除（隐藏），反向链接是否仍然具有分量...？ 编辑1：在Google搜索链接时，将显示以下内容： 针对我们根据《美国数字千年版权法案》收到的投诉，我们从此页面中删除了1个结果。如果您愿意，可以在LumenDatabase.org上阅读引起删除的DMCA投诉。 编辑2帖子起源的旧站点已经有好几个月了，并且仍然rel canonical指向我网站上的博客帖子，该博客帖子现在由DMCA发行...但是rel canonical自DMCA发行以来，该帖子已被忽略，尽管rel canonical其余指向我的站点...那是值得的

9 seo  google  duplicate-content  backlinks  content 

我有一个未从任何地方链接到的页面，但它在sitemap.xml中列出。 它将被爬网并显示在SERP中。 从SEO角度来看，将页面链接到网站的自然流程中会更好吗？ 例如，我的网站上有30,000种产品。除了搜索结果和sitemap.xml文件，无法自然链接到所有30k文件。 我是否应该开发一种方法，通过单独单击（无搜索）来导航到所有这些文件？

9 seo  sitemap  xml-sitemap  hyperlink 

是<a href=" #id ">（注意空格）正确（X）HTML？ 等于<a href="#id">吗？

9 html  url  links  hyperlink  xhtml 

因此，现在Google已弃用AJAX爬网方案。他们说不要打扰在新网站中实施它，因为Googlebot现在可以观看动态内容，因此不再需要它。我们应该立即信任该声明，还是暂时坚持不推荐使用的标准？

9 seo  web-crawlers  googlebot  ajax 

当打开新网站进行搜索引擎抓取时，该网站应该包含第一天开始的内容（帖子和文章），还是比每隔几天发布一次文章更好？

9 seo  launch 

我发现以前曾经拥有我当前IP地址的某人仍然有一个旧的A记录，而google正在使用它来返回搜索结果。结果，当有人在google中搜索我的网站的名称时，它会显示他们的网址以及我的网站的元数据和名称。当任何人单击链接时，该链接都会访问我们的网站，但使用其域名。（尽管显示无效的安全证书） 我已经完成了whois查找，并尝试连接注册域名的所有者。 如果我再也听不到回音，该怎么做才能解决Google搜索结果？

9 seo  domains  google-search  dns  multiple-domains 

Google的官方文档说： 将您的代码段（完整不变）粘贴到要跟踪的每个网页中。将其粘贴在结束</head>标记之前。 当然，出于某些原因，他们建议此职位；我想知道这些原因是什么。 我的想法是：如果它仍然是非阻塞异步代码，为什么它不能进入​​body标签？ 我的同事推论：这样一来，即使页面下方的另一个元素破坏了所有内容，仍可以跟踪pageViews。 但是，如果那是真的，那为什么不建议在开头标签之后添加它呢？

9 google-analytics  universal-analytics 

当SPDY可用于网站时，Googlebot会使用它吗？如果是这样，启用SPDY的网站对Googlebot的显示速度会更快。

9 googlebot  spdy