phpBB Türkiye

Merhaba arkadaşlar. Php-Nuke ile gelen bir dosya olarak bildigim robots.txt dosyası nedir ne işe yarar diye merak ediyorum. Bir tür arama motorlarıyla ilgili bir uygulama sanırım. Sadece php-nuke icin gecerli deil her sitede kullanılabilen bir uygulama. Sizlerden ricam bilen arkadaşımız varsa bize bu konuyu açıklayabilir mi?

Robots nedir?
Ne işe yarar?
Siteye ne faydası vardır?

teşekkürler şimdiden.

burası yeri değil, robots.txt dosyası arama motorlarına kılavuzluk eder. siteye gelen motora nereyi indexlemeyeceğini söyler.
ayrıntılar: http://www.google.com/intl/tr/faq.html#norobots

nereye açacağıma karar veremedim. kusura bakmayın.

Peki yigini, elimdeki robots.txt içeriği bu. şimdi burdaki yazılanlar root taki klasörler mi? Yani bu kodlara göre diyorki örnegin, search klasörünün icindekilerin hepsini indexle öyle mi?

[syntax="php"]Kod:
User-agent: *
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /catalogs
Disallow: /catalog_list
Disallow: /news
Disallow: /pagead/
Disallow: /imgres
Disallow: /keyword/
Disallow: /u/
Disallow: /univ/
Disallow: /cobrand
Disallow: /custom
Disallow: /advanced_group_search
Disallow: /advanced_search
Disallow: /googlesite
Disallow: /preferences
Disallow: /setprefs
Disallow: /swr
Disallow: /url
Disallow: /wml
Disallow: /hws
Disallow: /bsd?
Disallow: /linux?
Disallow: /mac?
Disallow: /microsoft?[/syntax]

hayır tam tersi. Disallow diye başlayan yerleri indexleme demektir.. yani burada belirtilen klasörleri indexleme, geri kalan heryeri indexle diyor umarım anlatabilmişimdir..

yukardaki * işareti de bütün motorların indexleyebilceğini ifade eder. onun yerine GoogleBot yazsaydı sadece Google için geçerli olacaktı robots dosyası

Anladım. Peki şöyle bir soru takıldı şimdide aklıma. Yazdığım robots 'da indexlenmeyecek yerleri yazdıysa,

1. indexlemesi için o zaman robots hazırlamamıza gerek var mı?
2. Gerek var ise neden var? Arama motorlarındaki seviyesi nedir? Çok etkiler mi vs. vs.

teşekkürler yaso19 bu arada.

tabii ki var.. arama motorları, belirli aralıklarla siteleri indexler. Ve kendilerine bir akıl ararlar gibi birşey. sitenin üzerinde robots dosyasını gördükleri an ona göre davranırlar. eğer görmezlerse her yeri indexlemeye kalkarlar vs.vs... mesela benim site yahoo,msn e falan kayıtlı değil ama ikiside arada bir giriyolar. bunun da robost dosyasından kaynaklandığını sanıyorum.. başka bi ihtimali varmı? yok bence yararları var yanii..

1. sorum için ne düşünüyorsun arkadaşım?

cevabımı zaten verdim! Tabii ki var.. Kısacası Robots dosyasını, kılavuz olarak gör!

peki şu klasörleri gör demem için hangi kodu kullanmam gerekiyor. Örnek verdigim kodda görme komutunu kullanmışda.

zaten onları görüyor. senin bi kod vermene gerek yok. sen sadece gösterilmiyecek dosyaları yazıyorsun, onları ellemiyo. diğerlerini görüyo zaten bişey yazmana gerek yok. yazımı en başından düzgün okusaydın bu soruları sormana bile gerk kalmıyacaktı.