[Wordpress] robots.tx 撰寫規則教學 (幫助SEO)

WORDPRESS本身有分類功能與單獨頁面功能 , 而分類中又可靠標籤繼續細分 , 並且也可按時間月份檢索 , 因此蜘蛛在爬行時經常會爬到相同頁面文章 , 為了要減少這種情況 , 撰寫 robot 規則就非常重要 ! 不過 , 不得不提 Wordpress 本身對於SEO其實就非常友善 , 這也為什麼它會變成BLOG系統的龍頭最重要的原因。以下為詳細設置教學與說明：

全開放寫法：
User-agent: *
Disallow:

使用說明：允許所有蜘蛛訪問，允許訪問所有內容。Wordpress只要範本中連結設計合理，沒有需要限制的特殊內容，推薦使用這種寫法。

嚴謹寫法：
User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=

使用說明：允許所有蜘蛛訪問，限制以“wp-”開頭的目錄及檔，限制抓取.php文件、.inc文件、.js文件、.css檔，限制抓取搜尋結果。
Disallow: /wp-* 會連同附件目錄一起限制抓取，如果想讓搜尋引擎抓取附件中的內容，將第三行的 # 號注釋去掉。Allow 不是所有搜尋引擎都支持。

合理寫法：
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: http://domain/sitemap.xml

使用說明：允許所有搜尋引擎抓取，逐一列舉需要限制的目錄，限制抓取搜索結果。

包含sitemap.xml地址（這一項wiki中有專門的說明，但Google管理員工具會提示‘檢測到無效的 Sitemap 引用’，有效性尚有爭議）。

robots.txt其他寫法:為避免在搜尋引擎中出現重複頁面，Wordpress玩家自創了很多robots寫法，列舉一些常用的，作為參考（適用於偽靜態方式的永久連結）：

* Disallow: /page/ #限制抓取Wordpress分頁
* Disallow: /category/*/page/* #限制抓取分類的分頁
* Disallow: /tag/ #限制抓取標籤頁面
* Disallow: */trackback/ #限制抓取Trackback內容
* Disallow: /category/* #限制抓取所有分類列表

好好的去寫WordPress的robots.txt文件，除了可以達到比較好的SEO效果，也能不會因為搜尋引擎無效的爬行佔用頻寬，最後，推薦使用Google管理員工具，登錄後訪問“工具 -> 分析 robots.txt”，檢查檔有效性。再次強調 Robot撰寫是很彈性的 , 請真實了解網站結構後 , 再行添加以免造成反效果！！