对于具有动态内容的网站(不断添加新内容),我应该只在站点地图中包含最新内容还是应该包含所有内容(具有站点地图索引)?特别是Sitemaps的最佳做法是什么。对于大型网站?
另外,有没有办法使Google(和其他搜索引擎)仅对站点地图中的页面进行爬网?
谢谢
更新:
另外,您知道stackoverflow如何处理此问题吗?我想知道,但不幸的是(也理解地),他们已阻止访问其站点地图。
1
该网站有多大?robots.txt和站点地图都有大小限制。令人惊讶的是,很多都超过了两者,这就是为什么我要问。
—
Tim Post
@Tim,目前还不算大(所有内容都可以放在一个站点地图中),但我正在尝试提前计划。
—
眉