Robots Refresher Robots.txt, makinelerin web sitenizi keşfetme şeklini kontrol edebileceğiniz esnek bir yöntemdir

Web sitesi sahiplerine yönelik bir araç olan robots.txt, 30 yılı aşkın süredir aktif olarak kullanılıyor ve tarayıcı operatörleri (ör. site sahipleri, hizmetler ve arama motorlarına yönelik araçlar) tarafından yaygın olarak destekleniyor. Robots Refresher serisinin bu bölümünde web sitenizde robotlara yapmalarını veya yapmamalarını istediğiniz şeyleri belirtebileceğiniz esnek bir yöntem olarak robots.txt dosyasını daha ayrıntılı şekilde inceleyeceğiz.

Robots.txt dosyasını kullanmaya başlama

Bu dosyaların işleyiş şekli basittir: "Robots.txt" adlı bir metin dosyası oluşturup web sitenize yüklersiniz. İçerik yönetim sistemi kullanıyorsanız bu işlem muhtemelen daha da kolaydır. Sitenizin tamamı taranabiliyorsa robots.txt dosyanızı boş bırakabilir veya hiç dosya kullanmayabilirsiniz. Dilerseniz de taramayı yöneten kurallar ekleyebilirsiniz. Örneğin, tüm botlara (tarayıcı, robot, örümcek olarak da bilinir) "alışveriş sepetine ekle" sayfanızdan uzak durmalarını söylemek için robots.txt dosyanıza şunları yazabilirsiniz:

Robots.txt ile yapabileceğiniz daha spesifik işlemler

Robots.txt, farklı robotların web sitenizde yapmasını veya yapmamasını istediğiniz şeyleri ifade edebileceğiniz İsviçre çakısı gibi bir araçtır. Birkaç satırdan oluşabilir veya belirli URL kalıplarını hedefleyen ayrıntılı kurallar içerecek şekilde daha karmaşık olabilir. Teknik sorunları (ör. gereksiz şekilde sayfalara ayrılmış sayfalar) çözmek veya editoryal ya da kişisel nedenlerle (ör. belirli içeriklerin taranmasını istemiyorsanız) robots.txt dosyası kullanabilirsiniz. Örneğin, şunları yapabilirsiniz:

Birden fazla botu (ancak hepsini değil) aynı kural hakkında bilgilendirme

Bu grup hem examplebot hem de otherbot botlarına /search yolundan uzak durmalarını bildirir.

Bir bota belirli metin parçasını içeren yollardan kaçınmasını söyleme

Örneğin, documentsbot botuna adında ".pdf" bulunan dosyaları taramaması gerektiğini bildirebilirsiniz.

Bir bota, blogunuzu tarayabileceğini ancak taslakları tarayamayacağını bildirme

Bir tarayıcının, web sitenizin bir bölümünü taramasını engellerken diğer tarayıcıların sitenize erişmesine izin vermeBu robots.txt dosyası, belirtilen aicorp-trainer-bot botunun ana sayfa dışındaki hiçbir yere erişmesine izin vermez ve diğer tarayıcıların (ör. arama motorları) siteye erişmesine izin verir.

Gelecekteki kendinize yorum yazma

Belirli bir kuralı neden eklediğinizi hatırlatmak için satıra # ile başlayabilirsiniz.

Daha fazla bilgi için faydalı robots.txt kuralları listemize göz atabilirsiniz.

Robots.txt dosyanızda pratik değişiklikler yapma 

Robot Hariç Tutma Protokolü (REP), kurallar ("allow" veya "disallow") oluşturur ve bu kuralların hangi robotlarda geçerli olduğunu belirtir. Programlama öğrenmeniz veya araçlarla uğraşmanız gerekmez. Bu kuralları bir metin dosyasına ekleyip web sitenize yüklemeniz yeterlidir.

Çoğu web sitesinde bu işlem daha da kolaydır. İçerik yönetim sistemi kullanıyorsanız genellikle robots.txt dosyanızı değiştirmenize yardımcı olacak yerleşik bir özellik sunulur. Örneğin, bazı içerik yönetim sistemleri, onay kutuları veya basit bir form kullanarak robots.txt dosyanızı özelleştirmenize olanak tanır. Birçok içerik yönetim sisteminde, robots.txt dosyanız için kurallar oluşturmanıza ve yazmanıza yardımcı olan eklentiler bulunur. İçerik yönetim sisteminizde neler yapabileceğinize göz atmak için içerik yönetim sisteminizin adı + "robots.txt dosyasını düzenle" ifadesiyle arama yapabilirsiniz.

Ayarlamaları yaptıktan sonra dosyanızın istediğiniz şekilde ayarlandığından emin olmak için test de yapabilirsiniz. Web topluluğu tarafından bu konuda yardımcı olmak için geliştirilen birçok test aracı vardır. Bunlardan biri TametheBot'un robots.txt test aracı, diğeri ise açık kaynaklı robots.txt ayrıştırıcı kitaplığını kullanan bu robots.txt ayrıştırıcıdır.