如何使用 robots.txt 優(yōu)化你的 WordPress 站點(diǎn);wordpress博客seo優(yōu)化設(shè)置之robots協(xié)議文件寫法大全
[重要通告]如您遇疑難雜癥,本站支持知識(shí)付費(fèi)業(yè)務(wù),掃右邊二維碼加博主微信,可節(jié)省您寶貴時(shí)間哦!
在文章開(kāi)始之前,我們要來(lái)聊下啥是Robots;
Robots協(xié)議是啥?Robots協(xié)議是什么?
Robots協(xié)議(也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等)的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol),網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取,哪些頁(yè)面不能抓取。
搜索引擎機(jī)器人訪問(wèn)網(wǎng)站時(shí),首先會(huì)尋找站點(diǎn)根目錄有沒(méi)有 robots.txt文件,如果有這個(gè)文件就根據(jù)文件的內(nèi)容確定收錄范圍,如果沒(méi)有就按默認(rèn)訪問(wèn)以及收錄所有頁(yè)面。
知道Robots協(xié)議的作用后,下面具體說(shuō)一下WordPress站點(diǎn)如何編寫robots.txt文件。
WordPress站點(diǎn)默認(rèn)在瀏覽器中輸入:http://你的域名/robots.txt,會(huì)顯示如下內(nèi)容:
這是由WordPress自動(dòng)生成的,意思是告訴搜索引擎不要抓取后臺(tái)程序文件。但這遠(yuǎn)遠(yuǎn)不夠,比較完整的WordPress站點(diǎn)robots.txt文件,可參考以下:
wordpress博客程序robots文件寫法大全及說(shuō)明,請(qǐng)根據(jù)據(jù)自己網(wǎng)站情況自行添加robots協(xié)議
User-agent: * //設(shè)置robots規(guī)則適用的瀏覽者身份為全部UA身份 Disallow: /*?* //屏蔽掉頁(yè)面中的動(dòng)態(tài)路徑 Disallow: /?p=* //屏蔽掉非固定鏈接的文章頁(yè)面路徑,因?yàn)槊總€(gè)頁(yè)面中都會(huì)有一個(gè)shortlink使用的是?p= 的路徑。 Disallow: /index.php //屏蔽掉首頁(yè)默認(rèn)頁(yè)面的index.php 頁(yè)面地址 Disallow: /wp-admin //屏蔽掉后臺(tái)登陸頁(yè)面地址,主要是考慮到服務(wù)器安全 Disallow: /wp-content/plugins //屏蔽掉wordpress的插件目錄 Disallow: /wp-content/themes //屏蔽掉wordpress的模板目錄 Disallow: /wp-includes //屏蔽掉wordpress的底層程序目錄 Disallow: /trackback //屏蔽wordpress的頁(yè)面回評(píng)路徑 Disallow: /*/*/trackback //屏蔽wordpress分類目錄、文章頁(yè)面的回評(píng)路徑 Disallow: /feed //屏蔽wordpress的內(nèi)容訂閱路徑 Disallow: /*/*/feed //屏蔽wordpress分類目錄、文章頁(yè)面的訂閱路徑 Disallow: /comments/feed //屏幕wordpress評(píng)論的訂閱路徑 Disallow: /page/ //屏蔽默認(rèn)的翻頁(yè)路徑 Disallow: /*/*/page/ //屏蔽分類目錄的翻頁(yè)路徑 Disallow: /page/1$ //屏蔽翻頁(yè)路徑中的數(shù)字路徑 Disallow: /tag/ //屏蔽標(biāo)簽頁(yè)面 Disallow: /?s=* //屏蔽搜索結(jié)果路徑,主要是避免搜索結(jié)果的緩存被搜索引擎收錄 Disallow: /?r=* Disallow: /*/comment-page-* Disallow: /*?replytocom* Disallow: /date/ //屏蔽按日期分類顯示的列表頁(yè)面 Disallow: /author/ //屏蔽作者文章列表頁(yè)面 Disallow: /category/ //屏蔽以category為起始路徑的分類路徑,如果您沒(méi)有使用插件生成不帶category前綴的路徑時(shí),請(qǐng)不要使用此項(xiàng)規(guī)則。 Disallow: /?p=*&preview=true Disallow: /?page_id=*&preview=true Disallow: /wp-login.php //屏蔽后臺(tái)登陸頁(yè)面 Sitemap: http://m.madamerex.com/sitemap.xml //引導(dǎo)蜘蛛爬取網(wǎng)站地圖 Sitemap: http://m.madamerex.com/sitemap_baidu.xml //引導(dǎo)百度蜘蛛爬取網(wǎng)站地圖
當(dāng)我們的網(wǎng)站上線后,有兩項(xiàng)必備的基礎(chǔ)工作要做,一個(gè)是網(wǎng)站地圖sitemap另一個(gè)是網(wǎng)站的優(yōu)化協(xié)議robots,這是最基本的網(wǎng)站內(nèi)容優(yōu)化收錄實(shí)現(xiàn)方法,那如果說(shuō)我們不想讓搜索引擎收錄某頁(yè)面內(nèi)容怎么辦,我們可以通過(guò)對(duì)robots的設(shè)置進(jìn)行一個(gè)最優(yōu)的收錄推送,來(lái)告訴蜘蛛哪些頁(yè)面鏈接是不需要被收錄的,那對(duì)于wordpress來(lái)講有很多程序文件及標(biāo)簽或是自動(dòng)的feed文件完成沒(méi)有必要收錄,那我們可以通過(guò)對(duì)robots的寫法優(yōu)化來(lái)實(shí)現(xiàn)收錄內(nèi)容最優(yōu)。
使用方法:
新建一個(gè)名稱為robots.txt文本文件,可參考本文內(nèi)的上面robots.txt,然后上傳到網(wǎng)站根目錄即可。
問(wèn)題未解決?付費(fèi)解決問(wèn)題加Q或微信 2589053300 (即Q號(hào)又微信號(hào))右上方掃一掃可加博主微信
所寫所說(shuō),是心之所感,思之所悟,行之所得;文當(dāng)無(wú)敷衍,落筆求簡(jiǎn)潔。 以所舍,求所獲;有所依,方所成!