五、网站地图以及标签布局

Sitemap，可方便网站管理员通知搜索引擎他们网站上有哪些可供抓取的网页，现在可以直接在站长后台，直接提交自己的更新的内容链接，搜索引擎就再也不用派出那么多爬虫辛辛苦苦的到处乱窜了，任何一个站点，只要有更新，便会自动“通知”搜索引擎，方便搜索引擎进行索引。

Sitemaps文件通常是XML格式的，制作方式，可以使用aizhan工具包，直接爬取网站链接。

如果存在多个页面，比如主域名、www域名、m域名，建议可以直接使用301跳转或者canonical标注分类页，这样避免权重分散。

404页面是客户端在浏览网页时，服务器无法正常提供信息，或是服务器无法回应，且不知道原因所返回的页面。建议一定要制作404页面，避免出现死链，导致百度spider不再爬取网站。

关于网站目录的细节指南

1、各个目录的首页之间有互联，如：悟空诉说，悟空主站在各个网站页脚上都有互联。

2、每个目录下的内容页面，要以锚文本互联起来。

3、不同目录的内容页面，如果目录结构差很多，比如bbs结构和blog结构，那么他们之间的内容尽量不要互联，而是让他们独立分开。

4、不同目录的内容页面，如果内容差很多，也让他们独立隔开，不要过多的互串。

5、对于单目录(都在一级目录下)的网站，同样也要考虑目录的内容分类。比如，内容管理系统(CMS)每个内容进行认真分类。但这里每个内容页面可以互联起来，因为结构一致，内容相近。

6、如果网站要上新的内容，最好开一个新的二级目录。记住，内容的有序分类是很重要的。

注：文章由悟空笔记整理！