robots.txt oluşturucu

robots.txt nedir ve gerçekte ne işe yarar

robots.txt, alan adının kökünde, https://ornek.com.tr/robots.txt adresinde duran sıradan bir metin dosyasıdır. Tarayıcı botlar önce onu okur, sonra siteyi gezmeye başlar. Kurallar basittir: User-agent kuralın kime yönelik olduğunu belirtir, Disallow bir yola erişimi yasaklar, Allow ise onu daha geniş bir yasaktan muaf tutar. Yıldız işareti * tüm botlar anlamına gelir.

Dosyanın ne olduğunu ve ne olmadığını anlamak önemlidir. Bu bir öneridir, koruma değildir. Kurallara uyan bot bunlara uyacaktır, ancak kötü niyetli bir scraper uymayacaktır. Bu nedenle şifreleri, API anahtarlarını, yedek dosyalarını veya yönetim panellerini asla robots.txt'nin bunları gizleyeceği umuduyla siteye koymayın. Bir şeyin herkese açık olmaması gerekiyorsa, onu kimlik doğrulama veya .htaccess kurallarıyla koruyun.

Bir diğer önemli rolü de crawl bütçesinden tasarruf etmektir. On binlerce URL'ye sahip bir sitede filtreler, sıralamalar ve takvimler, crawler'ın zamanını değersiz sayfalarda harcamasına neden olabilir. Bu tür yolları engellemek, Google'ın trafik getiren içeriğe odaklanmasına yardımcı olur.

Siteniz için robots.txt nasıl yazılır

Adımların sırası önemlidir, çünkü kurallar yukarıdan aşağıya okunur ve en spesifik kural kazanır.

1. Tüm botlar için bir grup tanımlayın: User-agent: *
2. Teknik ve yinelenen yollar için yasaklar ekleyin, örneğin Disallow: /wp-admin/, Disallow: /search, Disallow: /*?sort=
3. Yasaklı yol içinde olup dizine eklenmesi gerekenlere izin verin: Allow: /wp-admin/admin-ajax.php
4. Site haritasını belirtin: Sitemap: https://ornek.com.tr/sitemap.xml
5. Dosyayı köke kaydedin ve Google Search Console'daki robots.txt test aracında kontrol edin.

Pratik bir ipucu: yolları alan adı olmadan ve başında eğik çizgiyle yazın. Disallow: /sepet doğrudur, Disallow: ornek.com.tr/sepet yanlıştır. Tek bir yol dışında her şeyi engellemek istiyorsanız bu mümkündür, ancak hata yapmak kolaydır, bu yüzden sonucu iki kez kontrol edin.

AI crawler'ları engellemeli misiniz

AI şirketleri kendi botlarını kullanır: GPTBot, ClaudeBot, Google-Extended, PerplexityBot ve diğerleri. Engellemek, modellerin metniniz üzerinde eğitilmesini önler, ancak aynı zamanda AI arama motorlarının sizi kaynak olarak gösterme şansını azaltır. Görünürlükle geçinen çoğu işletme için daha iyi strateji, onları serbest bırakmak ve onlara düzenli içerik ile sitenin ve temel sayfaların kısa bir açıklamasını içeren bir llms.txt dosyası sunmaktır.

İstisnalar vardır. Özgün araştırmalara, ücretli içeriğe veya telif hakkıyla korunan metne sahip siteler, eğitimi haklı olarak engelleyebilir ancak alıntılamaya izin verebilir. Bazı botlar bunu ayrı adlarla destekler, bu yüzden bir kural yazmadan önce belgelerini kontrol edin.

robots.txt dosyası oluştururken en sık yapılan hatalar

En yaygın sorun, dizine eklenmesi gereken sayfaları da içeren bir bölümün tamamını engellemektir. Örnek: Disallow: /blog/ ziyaret getiren yazıları da kaldırır. Bir sonraki hata, bir sayfayı Google dizininden kaldırmak için Disallow'a güvenmektir. Sayfa zaten dizine eklenmişse, crawler'ı engellemek Google'ın noindex meta etiketini görmesini önler, bu yüzden sayfa güncel olmayan bir açıklamayla sonuçlarda kalabilir. Kaldırma için noindex kullanın, Disallow'u yalnızca geçici bir önlem olarak kullanın.

Üçüncü hata, site haritası dosyasına giden yanlış yoldur veya unutulmuş Sitemap satırıdır. Dördüncüsü, başkasının dosyasını sitenin yapısına uyarlamadan kopyalamaktır. Beşincisi, CSS ve JS dosyalarını engellemektir, bunun sonucunda Google sayfayı düzgün oluşturamaz ve değerlendiremez.

Birden fazla alt alan adınız varsa, her alan adının kendi robots.txt dosyası olduğunu unutmayın. Bir sitede binlerce URL, birden fazla dil sürümü ve botlara göre karmaşık kurallar olduğunda, manuel bakım riskli hale gelir. Bu gibi durumlarda EVI Solutions teknik SEO kurulumu ve otomasyonu konusunda yardımcı olabilir.