Генератор robots.txt фајла

Шта је robots.txt и чему заправо служи

robots.txt је обичан текстуални фајл који стоји у корену домена, на адреси https://primer.rs/robots.txt. Crawleri га прво прочитају, па тек онда крећу кроз сајт. Правила су једноставна: User-agent означава коме је правило намењено, Disallow забрањује приступ путањи, а Allow га изузима од шире забране. Звездица * значи сви ботови.

Важно је разумети шта фајл јесте, а шта није. Он је препорука, не заштита. Бот који поштује правила ће их се придржавати, али злонамерни сцрапер неће. Зато никада не стављајте лозинке, API кључеве, backup фајлове или admin панеле у сајт уз наду да ће их robots.txt сакрити. Ако нешто не сме да буде јавно, заштитите то аутентификацијом или .htaccess правилима.

Друга важна улога је уштеда crawl буџета. На сајту са десетинама хиљада URL-ова, филтери, сортирања и календари могу да троше време crawlera на странице без вредности. Блокирање таквих путања помаже да се Google фокусира на садржај који доноси саобраћај.

Како написати robots.txt за свој сајт

Редослед корака је битан, јер се правила читају одозго надоле, а најспецифичније правило побеђује.

1. Дефинишите групу за све ботове: User-agent: *
2. Додајте забране за техничке и дуплиране путање, на пример Disallow: /wp-admin/, Disallow: /search, Disallow: /*?sort=
3. Дозволите оно што је унутар забрањене путање а мора да се индексира: Allow: /wp-admin/admin-ajax.php
4. Наведите мапу сајта: Sitemap: https://primer.rs/sitemap.xml
5. Сачувајте фајл у корену и проверите га у Google Search Console алату за тестирање robots.txt фајла.

Практичан савет: путање пишите без домена и са косом цртом на почетку. Disallow: /korpa је исправно, Disallow: primer.rs/korpa није. Ако желите да блокирате све осим једне путање, то је могуће, али лако се погреши, па двапут проверите резултат.

Да ли блокирати AI crawlere

AI компаније користе сопствене ботове: ГПТБот, ClaudeBot, Google-Extended, PerplexityBot и друге. Блокирање спречава тренирање модела на вашем тексту, али истовремено смањује шансу да вас AI претраживачи цитирају као извор. За већину фирми које живе од видљивости, боља стратегија је да их пустите, а да им понудите уредан садржај и llms.txt фајл са кратким описом сајта и кључних страница.

Постоје изузеци. Сајтови са оригиналним истраживањима, плаћеним садржајем или ауторским текстом могу оправдано да блокирају тренирање, али да дозволе цитирање. Неки ботови то подржавају кроз одвојена имена, па проверите документацију пре него што напишете правило.

Најчешће грешке при изради robots.txt фајла

Најчешћи проблем је блокирање целе секције која садржи и странице које треба индексирати. Пример: Disallow: /blog/ уклања и текстове који доносе посете. Следећа грешка је ослањање на Disallow за уклањање странице из Google индекса. Ако је страница већ индексирана, блокирање crawlera спречава да Google види noindex meta таг, па страница може остати у резултатима са застарелим описом. За уклањање користите noindex, а Disallow само као привремену меру.

Трећа грешка је погрешна путања до ситемап фајла или заборављен Sitemap ред. Четврта је копирање туђег фајла без прилагођавања структури сајта. Пета је блокирање CSS и JS фајлова, због чега Google не може правилно да рендерује страницу и процени је.

Ако имате више poddomena, запамтите да сваки домен има свој robots.txt. Када сајт има хиљаде URL-ова, више језичких верзија и комплексна правила по ботовима, ручно одржавање постаје ризично. У таквим случајевима EVI Solutions може да помогне око техничке SEO поставке и аутоматизације.