一、网站地图：
1.定义：是指用来引导搜索引擎蜘蛛或者用户爬行或者
浏览网站的一个指引性的东西。
2.作用：
A-引导搜索引擎蜘蛛进行有序有规则的爬行索引
网站，从而提高搜索引擎的友好性和爬行效率。
形式：sitemap.xml
【只要是用来给搜索引擎蜘蛛看的】
B-引导用户查询他们所需要的内容
形式：sitemap.html
【主要是给浏览网页的用户看】
3.sitemap制作：
A-sitemap工具自动生成或者手动制作
工具：小爬虫
https://help.bj.cn/
B-网站地图一共有五种形式，常见的是sitemap.xml
、sitemap.html、sitemap.txt
C-将自动生成的网站地图放在网站的根目录文件下
D-在域名/sitemap.格式 可查询网站地图是否安装完成。
二、404错误页面：
1.定义：404页面是客户端在浏览网页时，服务器无法正常
提供信息，或是服务器无法回应，且不知道原因所
返回的页面。
2.作用：
A-减少网站死链接给搜索引擎带来的负面作用
B-提高用户体验度
C-避免信任度下降
D-避免被惩罚
3.制作的标准：
A-404页面尽可能的简洁明了
B-告诉用户访问网页的状态
C-告诉用户访问页面找不到的原因
D-提供用户解决方案
PS：需要注意的事项
404错误页面不建议强制跳转到网站的任何页面，
这样有可能会受到搜索引擎的惩罚
4.怎么来制作：
A-自己设计
B-404错误模板
PS：不同的服务器提供商，404错误页面制作的方式有所区别：
以宝塔安装错误页面为案例：
A-下载好404错误页面，并将404错误页面修改成自己所需要的信息，并将修改好的文件命名为404.html
B-进入宝塔系统，找到网站的跟目录，吧原来的404.html文件删除，在重新上传修改好的404.html文件
C-在宝塔系统里面，找到站点-增加站点-找到自己的网站-点击设置进去，找到配置文件，
将 # error_page 404 /404.html;修改成
error_page 404 /404.html;
D-进入宝塔系统，找到网站的根目录，上传404错误页面相对应的图片
E-进入宝塔系统，找到网站根目录，找到404.html文件，更改文件的图片路径
F-直接在域名/随便输入数字进行确认
三、Robots协议：
1.定义：Robots协议是用来放行或者禁止搜索引擎爬行索引网站内容的权限。
2.作用：
A-对于网站某些没有必要对外公开的页面，起到安全保护作用
B-有助于提高搜索引擎的爬行效率和搜索引擎友好度
3.怎么制作？
A-通过工具来自动生成 （存在一定的局限）
eg：http://tool.chinaz.com/robots/
B-手动编写 （见文档：robots.txt文件的写法 ）
4.Robots协议需要注意的事项：
A-网站如果没有设置Robots协议，意味着对所有的搜索引擎开放所有的页面
B-Robots协议里面的代码行首字母必须大写，且不能有空格，否则不生效
1.定义：是指用来引导搜索引擎蜘蛛或者用户爬行或者
浏览网站的一个指引性的东西。
2.作用：
A-引导搜索引擎蜘蛛进行有序有规则的爬行索引
网站，从而提高搜索引擎的友好性和爬行效率。
形式：sitemap.xml
【只要是用来给搜索引擎蜘蛛看的】
B-引导用户查询他们所需要的内容
形式：sitemap.html
【主要是给浏览网页的用户看】
3.sitemap制作：
A-sitemap工具自动生成或者手动制作
工具：小爬虫
https://help.bj.cn/
B-网站地图一共有五种形式，常见的是sitemap.xml
、sitemap.html、sitemap.txt
C-将自动生成的网站地图放在网站的根目录文件下
D-在域名/sitemap.格式 可查询网站地图是否安装完成。
二、404错误页面：
1.定义：404页面是客户端在浏览网页时，服务器无法正常
提供信息，或是服务器无法回应，且不知道原因所
返回的页面。
2.作用：
A-减少网站死链接给搜索引擎带来的负面作用
B-提高用户体验度
C-避免信任度下降
D-避免被惩罚
3.制作的标准：
A-404页面尽可能的简洁明了
B-告诉用户访问网页的状态
C-告诉用户访问页面找不到的原因
D-提供用户解决方案
PS：需要注意的事项
404错误页面不建议强制跳转到网站的任何页面，
这样有可能会受到搜索引擎的惩罚
4.怎么来制作：
A-自己设计
B-404错误模板
PS：不同的服务器提供商，404错误页面制作的方式有所区别：
以宝塔安装错误页面为案例：
A-下载好404错误页面，并将404错误页面修改成自己所需要的信息，并将修改好的文件命名为404.html
B-进入宝塔系统，找到网站的跟目录，吧原来的404.html文件删除，在重新上传修改好的404.html文件
C-在宝塔系统里面，找到站点-增加站点-找到自己的网站-点击设置进去，找到配置文件，
将 # error_page 404 /404.html;修改成
error_page 404 /404.html;
D-进入宝塔系统，找到网站的根目录，上传404错误页面相对应的图片
E-进入宝塔系统，找到网站根目录，找到404.html文件，更改文件的图片路径
F-直接在域名/随便输入数字进行确认
三、Robots协议：
1.定义：Robots协议是用来放行或者禁止搜索引擎爬行索引网站内容的权限。
2.作用：
A-对于网站某些没有必要对外公开的页面，起到安全保护作用
B-有助于提高搜索引擎的爬行效率和搜索引擎友好度
3.怎么制作？
A-通过工具来自动生成 （存在一定的局限）
eg：http://tool.chinaz.com/robots/
B-手动编写 （见文档：robots.txt文件的写法 ）
4.Robots协议需要注意的事项：
A-网站如果没有设置Robots协议，意味着对所有的搜索引擎开放所有的页面
B-Robots协议里面的代码行首字母必须大写，且不能有空格，否则不生效
