SEO / 爬取

robots.txt產生器

建立robots.txt檔案，為各個爬蟲設定規則、加入sitemap項目，並使用允許所有爬蟲、封鎖測試網站或封鎖AI訓練爬蟲的預設設定。

robots.txt產生器: robots.txt會告訴爬蟲哪些路徑可以擷取；RFC 9309將其標準化為：每個群組先列出使用者代理程式，再列出Disallow和Allow規則，符合條件的規則中以最具體者為準。AI訓練預設設定會為GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot和meta-externalagent加入一個群組；這些名稱是各營運方文件中用於選擇退出訓練的爬蟲名稱。產生器會提醒您注意沒有前置斜線的路徑、相對sitemap網址，以及會封鎖所有爬蟲的規則。 全程在瀏覽器中於本機執行，檔案不會上傳至伺服器。

分類
網路工具
使用次數
在瀏覽器中
費用
免費・免註冊
可用狀態
可立即使用
robots.txt產生器本機處理

全程在瀏覽器中執行

群組1
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

請將檔案放在網站根目錄，例如https://example.com/robots.txt。這會要求爬蟲不要進入，但不會隱藏或保護任何內容，而且Google會忽略Crawl-delay。AI爬蟲名稱已於2026年10月2日確認；各公司可能會新增爬蟲，請查閱其文件。

常見錯誤

封鎖 CSS 和 JavaScript 會使搜尋引擎無法正確呈現頁面；封鎖想移除的頁面，會讓爬蟲看不到其中的 noindex 標籤；網站上線後仍保留測試網站的 Disallow: /，則會隱藏整個網站。每次部署後都請檢查線上檔案。

若要測試現有檔案，請使用robots.txt 檢查工具；若要檢查它指向的 sitemap，請使用sitemap 檢查工具。

萬用字元

Google 和 Bing 支援代表任意字元的 *，以及代表網址結尾的 $：Disallow: /*.pdf$ 會封鎖所有 PDF。最長的相符規則優先，因此 Allow: /shop/sale/ 會覆寫 Disallow: /shop/。

使用方式

  1. 從預設設定開始，或編輯使用者代理程式群組和路徑。
  2. 加入sitemap網址。
  3. 複製或下載robots.txt，並將它放在網站根目錄。

隱私與限制

檔案會在您的瀏覽器中建立。

相關工具

Robots.txt檢查工具SitemapMeta 標籤CSP產生器

常見問題

robots.txt會阻擋Google搜尋中的頁面嗎？

它會停止爬取，而不是停止建立索引：如果其他網站連結到被封鎖的頁面，該頁面仍可能出現在搜尋結果中。若要讓頁面不出現在搜尋結果，請允許爬取，並加入noindex中繼標籤。

封鎖AI爬蟲後，AI工具會移除我的內容嗎？

這會要求這些爬蟲從現在起不要收集您的頁面；已經收集的內容不會因此移除，而且只有遵守robots.txt的爬蟲才會配合。

Crawl-delay有效嗎？

Bing和部分其他爬蟲會遵守；Google會忽略這項設定，並自動調整爬取速率。

免費工具・使用在瀏覽器中次・免註冊