Robots Nedir? Ne işe yarar?

PHP, MySQL, HTML, CSS, SEO vb. ile ilgili genel konular.

Robots Nedir? Ne işe yarar?

İleti sideLord 23.07.2006, 00:22

Merhaba arkadaşlar. Php-Nuke ile gelen bir dosya olarak bildigim robots.txt dosyası nedir ne işe yarar diye merak ediyorum. Bir tür arama motorlarıyla ilgili bir uygulama sanırım. Sadece php-nuke icin gecerli deil her sitede kullanılabilen bir uygulama. Sizlerden ricam bilen arkadaşımız varsa bize bu konuyu açıklayabilir mi?

Robots nedir?
Ne işe yarar?
Siteye ne faydası vardır?

teşekkürler şimdiden.
sideLord
Üye
Üye
 
İleti: 16
Kayıt: 07.05.2006, 22:28
Konum: İstanbul

İleti yigini 23.07.2006, 00:45

burası yeri değil, robots.txt dosyası arama motorlarına kılavuzluk eder. siteye gelen motora nereyi indexlemeyeceğini söyler.
ayrıntılar: http://www.google.com/intl/tr/faq.html#norobots
Kullanıcı avatarı
yigini
Üye
Üye
 
İleti: 661
Kayıt: 05.10.2005, 16:25

İleti sideLord 23.07.2006, 03:04

nereye açacağıma karar veremedim. kusura bakmayın.

Peki yigini, elimdeki robots.txt içeriği bu. şimdi burdaki yazılanlar root taki klasörler mi? Yani bu kodlara göre diyorki örnegin, search klasörünün icindekilerin hepsini indexle öyle mi?

[syntax="php"]Kod:
User-agent: *
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /catalogs
Disallow: /catalog_list
Disallow: /news
Disallow: /pagead/
Disallow: /imgres
Disallow: /keyword/
Disallow: /u/
Disallow: /univ/
Disallow: /cobrand
Disallow: /custom
Disallow: /advanced_group_search
Disallow: /advanced_search
Disallow: /googlesite
Disallow: /preferences
Disallow: /setprefs
Disallow: /swr
Disallow: /url
Disallow: /wml
Disallow: /hws
Disallow: /bsd?
Disallow: /linux?
Disallow: /mac?
Disallow: /microsoft?[/syntax]
sideLord
Üye
Üye
 
İleti: 16
Kayıt: 07.05.2006, 22:28
Konum: İstanbul

İleti yaso19 23.07.2006, 14:11

hayır tam tersi. Disallow diye başlayan yerleri indexleme demektir.. yani burada belirtilen klasörleri indexleme, geri kalan heryeri indexle diyor :) umarım anlatabilmişimdir..

yukardaki * işareti de bütün motorların indexleyebilceğini ifade eder. onun yerine GoogleBot yazsaydı sadece Google için geçerli olacaktı robots dosyası :)
Kullanıcı avatarı
yaso19
Üye
Üye
 
İleti: 531
Kayıt: 05.02.2006, 01:01
Konum: İzmir

İleti sideLord 24.07.2006, 11:04

Anladım. Peki şöyle bir soru takıldı şimdide aklıma. Yazdığım robots 'da indexlenmeyecek yerleri yazdıysa,

1. indexlemesi için o zaman robots hazırlamamıza gerek var mı?
2. Gerek var ise neden var? Arama motorlarındaki seviyesi nedir? Çok etkiler mi vs. vs.

teşekkürler yaso19 bu arada.
sideLord
Üye
Üye
 
İleti: 16
Kayıt: 07.05.2006, 22:28
Konum: İstanbul

İleti yaso19 24.07.2006, 18:17

tabii ki var.. arama motorları, belirli aralıklarla siteleri indexler. Ve kendilerine bir akıl ararlar gibi birşey. sitenin üzerinde robots dosyasını gördükleri an ona göre davranırlar. eğer görmezlerse her yeri indexlemeye kalkarlar vs.vs... mesela benim site yahoo,msn e falan kayıtlı değil ama ikiside arada bir giriyolar. bunun da robost dosyasından kaynaklandığını sanıyorum.. başka bi ihtimali varmı? yok :) bence yararları var yanii..
Kullanıcı avatarı
yaso19
Üye
Üye
 
İleti: 531
Kayıt: 05.02.2006, 01:01
Konum: İzmir

Cvp: Robots Nedir? Ne işe yarar?

İleti sideLord 24.07.2006, 23:01

1. sorum için ne düşünüyorsun arkadaşım?
sideLord
Üye
Üye
 
İleti: 16
Kayıt: 07.05.2006, 22:28
Konum: İstanbul

İleti yaso19 24.07.2006, 23:14

cevabımı zaten verdim! Tabii ki var.. Kısacası Robots dosyasını, kılavuz olarak gör!
Kullanıcı avatarı
yaso19
Üye
Üye
 
İleti: 531
Kayıt: 05.02.2006, 01:01
Konum: İzmir

İleti sideLord 26.07.2006, 01:06

peki şu klasörleri gör demem için hangi kodu kullanmam gerekiyor. Örnek verdigim kodda görme komutunu kullanmışda.
sideLord
Üye
Üye
 
İleti: 16
Kayıt: 07.05.2006, 22:28
Konum: İstanbul

İleti yaso19 26.07.2006, 08:38

zaten onları görüyor. senin bi kod vermene gerek yok. sen sadece gösterilmiyecek dosyaları yazıyorsun, onları ellemiyo. diğerlerini görüyo zaten bişey yazmana gerek yok. yazımı en başından düzgün okusaydın bu soruları sormana bile gerk kalmıyacaktı.
Kullanıcı avatarı
yaso19
Üye
Üye
 
İleti: 531
Kayıt: 05.02.2006, 01:01
Konum: İzmir


Internet Teknolojileri



Kimler çevrimiçi

Bu forumu görüntüleyenler: Kayıtlı kullanıcı yok ve 0 misafir

cron