Arama motorlarına Robots.txt takviyeyi ile web sitenizin indekslenmesini istediğiniz sayfaları, klasörleri robots dosyasına yazacağınız komutlar ile zorunlu ulaşımları vererek indeksletebilirsiniz. Veya indekslenmemesini istediğiniz sayfalarını, klasörleri, dosyaları engelleyebilirsiniz.
Robots.txt Kullanımı;
User-Agent: * Komutu tüm arama motorlarının botlarının sitenizi takip etmesini sağlar.
Ayrıca
User-agent: Googlebot
User-agent: Bingbot
User-agent: YandexBot gibi istemediğiniz botların sitenizi takip etmesini istemiyorsanız bu botları robots dosyanızda kullanarak zorunlu dosyalara kısıtlama veya ulaşım getirebilirsiniz.
Aşağıdaki misalde Google Bot üzerinde bir adet sayfa ve klasör yasaklaması yapalım;
Misal;
User-agent: Googlebot
Disallow: /admin
Disallow: /sayfa-yasaklama. html
Robots.txt Test Taşıtı;
Robots.txt dosyanızın, Google arama motorunda ulaşmamasını istediğiniz URL’lere ulaşımını yasaklayıp yasaklamadığını gösterir.
Bu vasıta ile Google Botlarının ulaşmasını yasaklamak istediğiniz bir sayfa URL’sinin taranmasının sarih olup olmadığını test edebilirsiniz. Robots.txt Test Taşıtı’nın kullanımı ise çok kolay fotoğrafta gösterildiği gibi URL yollayarak sayfanızın yasaklanıp, yasaklanmadığını görebilirsiniz.
Robots.txt Test taşıtı, Googlebot gibi çalışır ve URL’nizin düzgün biçimde yasaklanmış olduğunu doğrular. Bu adresten ulaşabilirsiniz.
Robots dosyası doğru bir biçimde test edilerek kullanılmaz ise sitenizin trafik aldığı sayfaları yanlışlıkla ulaşıma kapatabilirsiniz buda trafik kaybına neden olur.
