精品免费在线观看-精品欧美-精品欧美成人bd高清在线观看-精品欧美高清不卡在线-精品欧美日韩一区二区

17站長網

17站長網 首頁 網站 SEO優化 查看內容

robots是什么?robots mate和robots有什么區別

2023-8-4 14:49| 查看: 5590 |來源: 互聯網

Robots是什么robots是網站跟蜘蛛間的協議,當訪問站點時,它首先檢查機器人是否存在于站點的根目錄中。如果找到,蜘蛛就會按照該文件中的內容來確定訪問的范圍, ...

Robots是什么

robots是網站跟蜘蛛間的協議,當訪問站點時,它首先檢查機器人是否存在于站點的根目錄中。如果找到,蜘蛛就會按照該文件中的內容來確定訪問的范圍,如果該文件不存在,那么搜索機器人就沿著鏈接抓取。一定要注意txt文件必須放在站點的根目錄中,文件名必須為小寫。

robots.txt是一個純文本文件,在這個文件中網站管理者可以聲明該網站中不想被搜索引擎訪問的部分,或者指定搜索引擎只收錄指定的內容。因此,機器人的優化將直接影響到搜索引擎對站點的收錄。

只有在需要禁止抓取某些內容時,才寫robots。一些服務器設置是問題:當機器人文件不存在時,它返回200個狀態代碼和一些錯誤消息,而不是404頁面,這是因為搜索機器人誤讀了robots文件信息。

robots mate是什么

robots meta標簽主要是針對一個個具體的頁面。和其他的META標簽(如使用的語言、頁面的描述、關鍵詞等)一樣, robots meta標簽也是放在頁面的head>中,專門用來告訴搜索引擎機器人如何抓取該頁的內容。

follow指令表示搜索機器人可以沿著該頁面上的鏈接繼續抓取下去;

robots meta標簽的缺省值是index和follow;

index指令告訴搜索機器人抓取該頁面;

robots meta標簽中沒有大小寫之分,name=“robots”表示所有的搜索引擎,可以針對某個具體搜索引擎寫為name=“ baiduspider' content部分有四個指令選項index、noindex、follow、nofollow,指令間以“,”分隔。

Robots和robots mate的區別

目前來說,所有的搜索引擎都支持和遵守robots.txt的規定,但是支持robots mate的卻比較少,大家可以酌情使用。

本文最后更新于 2023-8-4 14:49,某些文章具有時效性,若有錯誤或已失效,請在網站留言或聯系站長:17tui@17tui.com
·END·
站長網微信號:w17tui,關注站長、創業、關注互聯網人 - 互聯網創業者營銷服務中心

免責聲明:本站部分文章和圖片均來自用戶投稿和網絡收集,旨在傳播知識,文章和圖片版權歸原作者及原出處所有,僅供學習與參考,請勿用于商業用途,如果損害了您的權利,請聯系我們及時修正或刪除。謝謝!

17站長網微信二維碼

始終以前瞻性的眼光聚焦站長、創業、互聯網等領域,為您提供最新最全的互聯網資訊,幫助站長轉型升級,為互聯網創業者提供更加優質的創業信息和品牌營銷服務,與站長一起進步!讓互聯網創業者不再孤獨!

掃一掃,關注站長網微信

大家都在看

    熱門排行

      最近更新

        返回頂部
        主站蜘蛛池模板: 国产精品密蕾丝视频 | 野外啪啪抽搐一进一出 | 91欧美国产| 亚洲成色 | 性欧美激情在线观看 | 91精品一区二区 | 91精品成人免费国产片 | 男女爱爱激情视频在线观看 | 国产美女视频做爰 | cijilu刺激 国产免费的 | 亚洲激情中文字幕 | 1024在线观看免费播放 | 黄色片国产 | 精品成人免费自拍视频 | 亚洲婷婷国产精品电影人久久 | 日本高清不卡二区 | 亚洲免费a | 91看片淫黄大片一级在线观看 | 日韩黄色在线观看 | 韩国19禁青草福利视频在线 | 性欧美一级毛片欧美片 | yellow中文字幕视频在线 | 国产亚洲第一伦理第一区 | 国产dvd毛片在线视频 | 91小视频版在线观看www | 亚洲桃色视频 | 国产女主播一二三区丝袜美腿 | 在线国产二区 | 国产精品久久精品福利网站 | 日韩中字在线 | 乱乳性高清| 麻豆91hd| 欧洲视频一区 | 台湾永久内衣秀 | 无码专区aaaaaa免费视频 | 日韩a级大片 | 玖玖视频精品 | 青青青国产依人在线视频97 | 国产婷婷一区二区在线观看 | 在线免费看影视网站入口 | 99久久免费国产精精品 |