Robots.Txt Nedir ? Ne İşe Yarar ?

GüçNet

webmaster.tc
Üye
Katılım
6 Ağu 2012
Mesajlar
960
Yaş
29
Konum
Akkapı
Robots.txt çok kolay bir şekilde hazırlanabilen ve önemli bir dosyadır.Robots.txt sitenizde indekslenmesini istediğiniz ve istemediğinizi klasörleri seçmek için kullanılır.Çünkü hemen hemen her web sitesinde bazı dosyaların arama motorlarında gözükmemesi gerekir.Bunu önlemek için de robots.txt kullanılır.

Robots.txt Nasıl kullanılır?

User-agent: [ Buraya arama botunun ismi ]

Disallow:[Gizlemek İstediğiniz Dosya veya Klasör]

Örneğin bizim sitemizin ana dizininde “gizli” adında bir klasör mevcut ve biz bu klasörün Google tarafından indenkslenmesini istemiyoruz. O durumda oluşturacağımız robots.txt dosyası aşağıdaki gibi olmalıdır.
Disallow:/gizli/User-agent: Googlebot

Eğer bu klasörün hiçbir arama motoru tarafından indekslenmemesini istiyorsanız; yapmanız gereken değişiklik;

User-agent: *

Şeklinde olmalıdır.


Kaynak : http://www.bilgidede.com/webmaster/404/robots-txt-ne-ise-yarar.html

Not: Makale kendi blogumda tarafımca yazılmıştır.
 

inforesim

webmaster.tc
Üye
Katılım
4 Ağu 2012
Mesajlar
2,401
Teşekkürler, Ellerine Sağlık :)

Not : Sitene Girmiyor :(
 

GüçNet

webmaster.tc
Üye
Katılım
6 Ağu 2012
Mesajlar
960
Yaş
29
Konum
Akkapı
  • Konu Sahibi Konu Sahibi
  • #7
evet şimdi fark ettim bir sıkıntı var sitede kusura bakmayın.
 

proghammer

webmaster.tc
Üye
Katılım
6 Ağu 2012
Mesajlar
497
Konum
WebMaster
Robot.txt çok önemli bir faktör sakın es geçmeyin arkadaşlar..

Bu arada şifrelerinizi birbaşkalarına veriyorsanız robot.text için herhangi bir değişiklikte bulunmasınlar yanlışlıkla nofollow yazarlar Allah korusun botlar sitenize uğramaz..

Bu konuya dikkat edelim..
 

GüçNet

webmaster.tc
Üye
Katılım
6 Ağu 2012
Mesajlar
960
Yaş
29
Konum
Akkapı
Robot.txt çok önemli bir faktör sakın es geçmeyin arkadaşlar..

Bu arada şifrelerinizi birbaşkalarına veriyorsanız robot.text için herhangi bir değişiklikte bulunmasınlar yanlışlıkla nofollow yazarlar Allah korusun botlar sitenize uğramaz..

Bu konuya dikkat edelim..
haklısınız hocam katılıyorum.
 

Üst