fbpx

Türkiye’nin En Güncel WordPress Bloğu

Robots.txt Nedir?

Share on facebook
Facebook
Share on twitter
Twitter
Share on linkedin
LinkedIn
google-bot

Robots.txt, bir web sitesinin web tarama botlarına talimatlar sağlamasına izin veren bir metin dosyasıdır.

Google gibi arama motorları, web sitelerini arşivlemek ve kategorilere ayırmak için bazen web robotları olarak adlandırılan bu web tarayıcılarını kullanır. Çoğu bot, web sitesinden başka herhangi bir dosyayı okumadan önce sunucuda bir robots.txt dosyasını arayacak şekilde yapılandırılmıştır. Bunu, bir web sitesi sahibinin sitelerini nasıl tarayacağına ve dizine ekleyeceğine ilişkin bazı özel talimatlara sahip olup olmadığını görmek için yapar.

Robots.txt dosyası, botun belirli dosyaları veya dizinleri yoksaymasını isteyen bir dizi talimat içerir. Bu, gizlilik amacıyla veya web sitesi sahibinin bu dosya ve dizinlerin içeriğinin, web sitesinin arama motorlarında sınıflandırılmasıyla ilgisi olmadığına inandığı için olabilir.

Bir web sitesinin birden fazla alt alanı varsa, her alt alan adının kendi robots.txt dosyası olması gerekir. Tüm botların bir robots.txt dosyasını kabul etmeyeceğine dikkat etmek önemlidir. Bazı kötü amaçlı botlar, önce hangi dosya ve dizinleri hedeflemeleri gerektiğini bulmak için robots.txt dosyasını bile okuyacaktır. Ayrıca, bir robots.txt dosyası botlara sitedeki belirli sayfaları göz ardı etmeleri talimatını verse bile, bu sayfalar taranan diğer sayfalar tarafından bağlantı verildiği takdirde arama sonuçlarında görünmeye devam edebilir.

Share on facebook
Facebook
Share on google
Google+
Share on twitter
Twitter
Share on linkedin
LinkedIn
Share on pinterest
Pinterest

Yorum Gönderin

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

This site uses Akismet to reduce spam. Learn how your comment data is processed.