本篇是針對 WordPress 的情境下來說明 robots.txt
robots.txt 作為 SEO 經營時重要的一份文件,我常比喻他是爬蟲的「遊戲規則」。檔案的位置是放在主機的根目錄當中。
假如你是原生 WordPress 安裝好就直接用的人,一般來說是不會找到這個檔案的,除非你有安裝一些 SEO 外掛,例如:yoastSEO 或 Rankmath,才可能會出現。
它們會都會幫你「動態」產生 robots.txt,而所謂「動態」就是透過程式運行後產生,而非你有「真正的txt文件」,也就是「靜態化頁面」,所以當你去主機資料夾裡尋找此文件時,就會找不到。
在網址列輸入「/robots.txt」後確實有叫出檔案,就表示你有成功執行了,這時再確認到底是「動態產生」還是「靜態產生」。
若你是有安裝了 SEO 外掛,可以先短暫的將它暫停運行,再到網址列輸入「/robots.txt」確定它是否還存在(有時 cookie 會影響判斷,可以先清好 cookie 再測試),若還存在,就表示它很高機率不是動態產生,應該就是「靜態產生」。
再到主機的資料夾確認一下…
進到主機後台後(不是 WordPress 的後台喔) ,通常在「public_html」這層底下,或直接搜尋 robots.txt,就會找到。