veb alat / 02

Provera robots.txt

Pretvorite robots.txt datoteku sajta u brz i pregledan izveštaj o pravilima za botove.

Provera robots.txt: Čita pravila za botove u robots.txt datoteci sajta, grupe agenata, deklaracije sitemap-ova i izvorni sadržaj. TOEA preuzima datoteku iz korena sajta i daje sažetak wildcard pravila za korensku putanju. To pomaže pri uočavanju širokih zabrana i pravila na pogrešnom mestu, ali ne proverava da li svaka stranica može da bude indeksirana. Obrađuje se bezbedno po potrebi.

Kategorija: Veb alatke
Pokretanja: Na serveru TOEA
Trošak: Besplatno · bez registracije
Dostupnost: Spremno za upotrebu

Čitač robots.txt fajlaBezbedna provera javnog URL-a

Kratak primer robots.txt datoteke

Postavite datoteku u koren hosta, kao /robots.txt. User-agent bira grupu alata za indeksiranje, Disallow traži od te grupe da ne preuzima putanje koje se podudaraju, a Allow može da napravi izuzetak. Ovaj primer blokira privatni direktorijum osim njegove javne fascikle za medije i navodi sitemap.

User-agent: *
Disallow: /private/
Allow: /private/press/

Sitemap: https://example.com/sitemap.xml

Pobeđuje najduža putanja koja se podudara; Allow pobeđuje kada su putanje iste dužine. Putanje razlikuju velika i mala slova. Pravila iz grupa koje se podudaraju sa istim agentom objedinjuju se; imenovani alat za indeksiranje ne nasleđuje pravila grupe sa džoker znakom. Referenca protokola: https://www.rfc-editor.org/rfc/rfc9309.html

Uobičajene greške koje treba proveriti

Disallow: / blokira svaku putanju, dok prazna vrednost Disallow ne blokira ništa. Datoteka u /blog/robots.txt ne upravlja korenom sajta, a pravila na jednom hostu ne obuhvataju poddomen. Izbegavajte blokiranje resursa koji su pretraživaču potrebni za prikaz stranice.

Robots.txt upravlja indeksiranjem, a ne pristupom ili garantovanim uklanjanjem iz rezultata pretrage. Za privatni sadržaj koristite autentifikaciju. Za javnu stranicu koju treba izuzeti iz pretrage dozvolite indeksiranje i poslužite noindex. Ovaj alat sažima grupe i politiku korena sa džoker znakom; ne testira svaki URL. Smernice za pretragu: https://developers.google.com/search/docs/crawling-indexing/robots/intro

Kako se koristi

Unesite bilo koju stranicu sajta koji želite da proverite.
Izaberite „Proveri robots.txt“.
Pregledajte grupe, ukupne brojeve pravila, sitemap-ove i ceo izvorni sadržaj.

Privatnost i ograničenja

URL sajta šalje se TOEA usluzi za ograničeno preuzimanje i ne čuva se. robots.txt datoteka služi kao preporuka; ovaj izveštaj ne dokazuje da će ga svaki bot pratiti.

Srodne alatke

Često postavljana pitanja

Gde treba da se nalazi robots.txt?

Na adresi /robots.txt na hostu čiji pristup želite da kontrolišete, na primer https://example.com/robots.txt. Datoteka u direktorijumu /blog/ ne kontroliše ceo sajt, a poddomenu je potrebna sopstvena datoteka.

Da li Disallow uklanja stranicu iz rezultata pretrage?

Ne. Robots.txt kontroliše pretraživanje, a ne indeksiranje ili pristup. Blokirani URL i dalje može da se pojavi u rezultatima pretrage. Da biste izuzeli javnu stranicu, dozvolite pretraživanje i poslužite noindex direktivu; privatni sadržaj zaštitite autentifikacijom.

Koje greške prvo treba da proverim?

Disallow: / blokira ceo sajt, dok prazna vrednost za Disallow ne blokira ništa. Proverite putanje koje razlikuju velika i mala slova, granice grupa i da li su neophodne datoteke blokirane. Imenovana grupa botova ne nasleđuje pravila iz wildcard grupe.

Besplatan alat · pokretanja: na serveru toea · nalog nije potreban