Robots.txt Nedir?
16 Ekim 2020
Yorum yapılmamış
Robots.txt, bir web sitesinin web tarama botlarına talimatlar sağlamasına izin veren bir metin dosyasıdır. Google gibi arama motorları, web sitelerini arşivlemek ve kategorilere ayırmak için
