注册

百度sitemap

定义:指百度支持的收录标准,在原有协议上做出了扩展。

作用:百度搜索引擎会使用sitemap中的数据来了解网站的结构信息,熟悉网站后可以更好的抓取。

格式:分为三种格式:txt文本格式、xml格式、sitemap索引格式。

Etag助力sitemap

对sitemap启用Etag的好处:

1、百度可以更快速地响应sitemap的更新。

2、以最小的抓取流量检测网站sitemap的更新,避免进行全量抓取、消耗带宽。

注意事项

1

第一、sitemap文件中网址不得超过5万个,且文件大小不得超过10MB。如果您的sitemap超过了这些限值,请将其拆分为几个小的sitemap。

2

第二、sitemap文件在不超过数量和大小限制的情况下,一个文件要包含尽量多的url,从而减少提交的sitemap文件数量,防止您的站点由于抓取压力有限,造成sitemap文件无法及时抓取。

3

第三、如果验证了网站的主域,那么sitemap文件中可包含该网站主域下的所有网址。

4

第四、强烈建议网站对sitemap启用Etag,通过Etag信息百度可以用最小的抓取流量,来探测sitemap文件的更新。不支持Etag的话百度的调度抓取会很慢。

© 2017 Baidu 使用百度前必读 京ICP证030173号