robots文件的規范寫法
以下是應屆畢業生網為大家整理好的有關SEO網站優化的知識，希望對大家有所幫助！
一、概念
1、網站和搜索引擎之間的協議文件
2、蜘蛛爬行網站的第一個要訪問的文件
3、屏蔽內容：不想被抓取的隱私內容,后臺、數據庫文件、模板、插件文件...或者做了偽靜態就屏蔽動態路徑
二、robots語法
1、User-agent 定義搜索引擎類型
2、Disallow 定義禁止抓取收錄地址
3、Allow 定義允許抓取收錄地址
4、* 匹配0或多個任意字符
5、$ 結束符
6、% 代表中文路徑
7、? 代表動態路徑
8、Sitemap 網站地圖
三、robots寫法舉例
User-agent: *
Disallow: /plus
Disallow: /include
Disallow: /templets
Disallow: /data
Disallow: /dedemao
Disallow: /install
【robots文件的規范寫法】相關文章：
淺談進一步了解對robots文件的認識03-22
證券部門規章及規范性文件05-12
悼詞的寫法04-19
監理文件資料的類型-監理文件資料分類03-27
什么是DOS文件03-20
HTML文件的增強標記12-26
ISO文件怎么安裝01-12
hosts文件位置在哪03-14
隱藏電腦文件的方法03-19