Generator robots.txt fajla

Šta je robots.txt i čemu zapravo služi

robots.txt je običan tekstualni fajl koji stoji u korenu domena, na adresi https://primer.rs/robots.txt. Crawleri ga prvo pročitaju, pa tek onda kreću kroz sajt. Pravila su jednostavna: User-agent označava kome je pravilo namenjeno, Disallow zabranjuje pristup putanji, a Allow ga izuzima od šire zabrane. Zvezdica * znači svi botovi.

Važno je razumeti šta fajl jeste, a šta nije. On je preporuka, ne zaštita. Bot koji poštuje pravila će ih se pridržavati, ali zlonamerni scraper neće. Zato nikada ne stavljajte lozinke, API ključeve, backup fajlove ili admin panele u sajt uz nadu da će ih robots.txt sakriti. Ako nešto ne sme da bude javno, zaštitite to autentifikacijom ili .htaccess pravilima.

Druga važna uloga je ušteda crawl budžeta. Na sajtu sa desetinama hiljada URL-ova, filteri, sortiranja i kalendari mogu da troše vreme crawlera na stranice bez vrednosti. Blokiranje takvih putanja pomaže da se Google fokusira na sadržaj koji donosi saobraćaj.

Kako napisati robots.txt za svoj sajt

Redosled koraka je bitan, jer se pravila čitaju odozgo nadole, a najspecifičnije pravilo pobeđuje.

1. Definišite grupu za sve botove: User-agent: *
2. Dodajte zabrane za tehničke i duplirane putanje, na primer Disallow: /wp-admin/, Disallow: /search, Disallow: /*?sort=
3. Dozvolite ono što je unutar zabranjene putanje a mora da se indeksira: Allow: /wp-admin/admin-ajax.php
4. Navedite mapu sajta: Sitemap: https://primer.rs/sitemap.xml
5. Sačuvajte fajl u korenu i proverite ga u Google Search Console alatu za testiranje robots.txt fajla.

Praktičan savet: putanje pišite bez domena i sa kosom crtom na početku. Disallow: /korpa je ispravno, Disallow: primer.rs/korpa nije. Ako želite da blokirate sve osim jedne putanje, to je moguće, ali lako se pogreši, pa dvaput proverite rezultat.

Da li blokirati AI crawlere

AI kompanije koriste sopstvene botove: GPTBot, ClaudeBot, Google-Extended, PerplexityBot i druge. Blokiranje sprečava treniranje modela na vašem tekstu, ali istovremeno smanjuje šansu da vas AI pretraživači citiraju kao izvor. Za većinu firmi koje žive od vidljivosti, bolja strategija je da ih pustite, a da im ponudite uredan sadržaj i llms.txt fajl sa kratkim opisom sajta i ključnih stranica.

Postoje izuzeci. Sajtovi sa originalnim istraživanjima, plaćenim sadržajem ili autorskim tekstom mogu opravdano da blokiraju treniranje, ali da dozvole citiranje. Neki botovi to podržavaju kroz odvojena imena, pa proverite dokumentaciju pre nego što napišete pravilo.

Najčešće greške pri izradi robots.txt fajla

Najčešći problem je blokiranje cele sekcije koja sadrži i stranice koje treba indeksirati. Primer: Disallow: /blog/ uklanja i tekstove koji donose posete. Sledeća greška je oslanjanje na Disallow za uklanjanje stranice iz Google indeksa. Ako je stranica već indeksirana, blokiranje crawlera sprečava da Google vidi noindex meta tag, pa stranica može ostati u rezultatima sa zastarelim opisom. Za uklanjanje koristite noindex, a Disallow samo kao privremenu meru.

Treća greška je pogrešna putanja do sitemap fajla ili zaboravljen Sitemap red. Četvrta je kopiranje tuđeg fajla bez prilagođavanja strukturi sajta. Peta je blokiranje CSS i JS fajlova, zbog čega Google ne može pravilno da renderuje stranicu i proceni je.

Ako imate više poddomena, zapamtite da svaki domen ima svoj robots.txt. Kada sajt ima hiljade URL-ova, više jezičkih verzija i kompleksna pravila po botovima, ručno održavanje postaje rizično. U takvim slučajevima EVI Solutions može da pomogne oko tehničke SEO postavke i automatizacije.