Google Sitemaps MOD

phpBB için Arama Motoru Optimizasyonu

İleti Diyalektik 22.01.2006, 13:37

AkrepKral, GSiteCrawler'i indirdim ve kurdum. "Add new project" diyerek site bilgilerini yazdım (Ban Url'S sekmesinden, bazı dizin ve dosyalarının gözardı edilmesibi sağladım). Kurulumu sonlandırdığımda, yazılım siteye bağlandı ve Crawler Watch penceresinde işlem başladı.
Ne yapıyor bu Crawler Watch?
Siteye bağlanıyor ve tüm sayfaların adresini alıyor. Sanırı işlem bittiğinde de bu adreslerle bir *.xml dosyası oluşturup, sonra onu *.gz olarak sıkıştırıp, server'e atacak. Sonra google'de sitemap olarak o dosyayı göstereceğiz ve google'de siteye gidip, index'lemeyi gerçekleştirecek...

Buraya kadar anladıklarım doğruysa, birkaç sorum var:
1- Crawler Watch işleme dün başladı. Programı dün bıraktığımda/kapattığımda, 39 bin civarındaydı işlem (256 k ADSL ile bağlıyım internete ve 10 saatte geldi bu seviyeye), bugün bilgisayarı açıp, yeniden işleme başlattığımda, 36 bine düştü ve oradan başladı işleme.
Sorum şu: Bu işlemin bu kadar uzun sürmesi normal mi (forumda 36 bin mesaj var)?
2- Bu işlem bir defa son buldup, *.gz dosyası server'e upload edildikten sonra, program, forumda açılan yeni başlıkları/bağlantıları nasıl ve ne zaman kontrol edecek ve *.gz dosyasını ne zaman güncelleyecek? Bu işi otomatik mi yapıyor, yoksa maluel mi yapacağız?
3- İlk kurulumun ardından yapılacak güncellemeler ne kadar sürede gerçekleşiyor? Her halde ilk kurulumdaki gibi 15-20 saat sürmez?!
4- Senin yukarıda anlattığın "google saldırısı" kaç gün sürdü? Kaç sayfan vardı sitende? O ilk "saldırı"dan sonra google ziyaretleri duruldu mu? Ne sıklıkla ziyarete geliyor?
5- Bu yazılım ücretli mi? Bir türlü bulamadım satın alacak bir yer!?
Kullanıcı avatarı
Diyalektik
Kıdemli Üye
Kıdemli Üye
 
İleti: 263
Kayıt: 14.11.2005, 13:12
Konum: İstanbul

İleti Diyalektik 23.01.2006, 23:01

Var mı yardımcı olabilecek kimse..?
Kullanıcı avatarı
Diyalektik
Kıdemli Üye
Kıdemli Üye
 
İleti: 263
Kayıt: 14.11.2005, 13:12
Konum: İstanbul

İleti AkrepKral 23.01.2006, 23:31

Aslında bu işte tam olarak ben de anlamam ama görüğüm kadarını yazayım ben de.

1- Bende de işlem gerçekten çok uzun sürdü. Bende eğer yanlış hatırlamıyorsam 2637 civarında sayfa var. Ben de bir kaç gün açık bıraktım zaten o yüzden hosttan uyarı geldi. Çok fazla CPU gidiyo diye. Bunun üzerine kapattım programı ve Kendisi gerekli dosyaları oluşturdu. Programın kendi klasöründe site için vermiş olduğum ad içerisine oluşturduğu tüm dosyaları Site içerisine upload ettim. Bu kadar uzun sürmesi normal mi anormal mi bunu cidden ben de bilmiyorum ama benim aklıma şu geldi. Program online kalarak yeni girilen mesajları da tarıyodu.! Çünkü eski denemiş olduğum sitemap.php de 2637 sayfa görünüyodu ama program o rakamı da geçmişti en son baktığımda. Ne halt yediğini ben de tam olarak çözemedim ne yazık ki.

Diyalektik ben şunu deniycem istersen sende bir dene. Local hosta kurduğum Portala Güncel DB yedeğini yükleyip Orayı taratacam. Eğer hosttan kaynaklanan bir yavaşlıksa en azından onu görmüş olurum. Ve eğer üyelerin aktifliğinden kaynaklanan bir uzamaysa bu o sırada hiç üye olmayacağı için localhostta onu da anlamış olurum. Sonucu gene buraya yazarım.

2- Bu soruya bir şey diyemiyorum çünkü ben sonu gelmeyince programı sonlandırıp KEndim attım dosyaları siteye. Sitemap içerisindeki BAşlıklar her gün kontrol edilecek şekilde ayarlanmış. http://www.google.com/webmasters/sitemaps/ adresine kayıt yaptıktan sonra gerisi googleye kalmış bir şey artık.

3- Henüz ikinci güncellemeyi yapmadığım içn buna da kesin bir şey diyemiyorum ama bir kaç defa duraklatıp başlattığımda en azından kaldığı yerin bir gerisinden başlamıştı. Güncellemede de bu şekilde olması lazım. Eğer gene baştan yapacaksa yani. Localhossa sorun olmazsa Güncellemeri Güncel DB yükleyerek orada yaparım.

4- Google botları gelmeye devam devame diyor. Google Bot Detector adındaki modla bootların hangi sayfaları ziyaret ettiklerini görebiliyorsun. Dikkatimi çekti Geçmişten başlayarak sayfaları ziyaret ediyo. Ve her gün yüzlerce sayfa görünüyo orda. HEr gün o sayfayı sıfırlayarak deniyorum. YAni gerçekten yararlı oluyor. Ama bundan Banner olarak eklediğim Google reklamlarının da katkısı var. Eğer Adsenceye üye olmadan bunu yapmak istiyorsan Onu ayrıca anlatırım.

5- Ben yarıda bıraktığım için işi bilemiyorum açıkçası ama dikkatimi çekti benim site haricinde Programcının yapımcısına ait sitelerde vardı. Programın demo oluşuyla ilgisi var mı bilmiyorum. About kısmına hiç bakmadım. Program yeni bir program değil. BElki google ile anlaşması olabilir ordan kazanıyordur. Localhostta denerken (tabi eğer olursa) onlara da dikkat ederim.

Diyalektik önceki sayfada Googlenin sayfaları indexlemesiyle ilgili kod değişimleri vardı onları da yap istersen.
Kullanıcı avatarı
AkrepKral
Üye
Üye
 
İleti: 142
Kayıt: 28.11.2005, 00:13

İleti AkrepKral 25.01.2006, 23:06

Localhostta da denedim ama DBnin tamamını yüklememiş olmama rağmen orda da uzun sürdü. Sonunu da beklemedim zaten. Sanırım program tüm sayfaların içeriğini de tarıyor.
Kullanıcı avatarı
AkrepKral
Üye
Üye
 
İleti: 142
Kayıt: 28.11.2005, 00:13

İleti Diyalektik 26.01.2006, 11:56

Ben her gün 5-10 saat açık tutuyorum programı. Şu an %70'i bitti.
İlginç olan şu ki, 35 bin civarında mesaj sayım var, buna karşılık günler öncesinden program 40 binlere varan sayfa tanımlaması gerçekleştirmişti. Daha sonra bu sayfa tanımlamaları sürekli düşmeye başladı ve şu anda 26 binlerde!
Sanırım, bir yerden başlıyor taramaya ve gördüğü tüm bağlantılara gidiyor; oradan oraya, oradan oraya... Sonra geri dönüyor ve mükerrer bağlantılarla, filtreleyerek gözardı etmesini istediğimiz dizin ve dosyaları eliyor...
Uzun bir işlem, ama bitirmeye kararlıyım :)
Sanırım sonunda tüm sayfaların yer aldığı bir dosya sunacak bana. Bu da tüm sayfaların google'de görünmesi anlamına gelecek diye umuyrum. Göreceğiz...
Böyle olursa, amenna! Olmazsa, ettiğim küfürle kalırım :)
Ama esas merak ettiğim, bu işlem sonlandığında, programın, yeni açılan sayfaların xml dosyasına nasıl ekleyeceği...
Gelişmeleri yazarım...
Kullanıcı avatarı
Diyalektik
Kıdemli Üye
Kıdemli Üye
 
İleti: 263
Kayıt: 14.11.2005, 13:12
Konum: İstanbul

İleti cnt 26.01.2006, 17:32

arkadaşlar umarım benim bi ara denediğim program benzeri bişey değildir o, bütün sid değerlleri için tarayıp tarayıp duruyor. boşuna bw yiyor. ve google boot dedektörü modu kurulmuş ise, bu modda google gelmiş ve tüm o sayfaları o taramış gibi gözüküyor.

Bence bu program konuusnda tekrar düşünün.
cnt
Üye
Üye
 
İleti: 102
Kayıt: 31.10.2005, 16:27

İleti Diyalektik 26.01.2006, 18:32

Şu an itibarıyla yukarıda anlattığım üzere programın oluşturduğu sitemap.xml.gz dosyasını server'e yolladım.
İşlemin %80'i bitmişti ve ben yarıda kesip, oluşan 5.87 MB büyüklüğündeki, 33 bin 275 satırdan oluşan xml dosyasını *.gz olarak sıkıştırıp yolladım ve biraz önce www.google.com/webmasters/sitemaps/siteoverview?hl=en 'e ekledim.
Bugüne dek Google Bot Detector'den bakınca, forumun günde 2 sayfa görüntülendiğini görüyordum. Bakalım şimdi ne olacak... ve bakalım google arama motorundaki sıralamam değişecekl mi...

Not: cnt, dediğin gibi olamaz diye düşünüyorum. Çünkü günlerdir bu program çalışıyor ve/fakat buna karşın Google Bot Detector'de tık yok! :)
Oluşan xml dosyası ortada. Bakalım google nasıl index'leyecek...
Kullanıcı avatarı
Diyalektik
Kıdemli Üye
Kıdemli Üye
 
İleti: 263
Kayıt: 14.11.2005, 13:12
Konum: İstanbul

İleti cnt 27.01.2006, 01:21

Google Bot Detectorlerimiz farklıdır belki, ama asıl sorun o değil, asıl sorun sid li bölümler için bi sayfayı defalarca indexlemesi. umarım bu sayfaları google spam olarak algılamaz.

----
ekleme: unutmadan gz formatında değil xml uzantılı halde dosyayı yükliyeceksiniz. sıkıştırılmış sanırım o dosya. (açtığınız zaman boyutu hakkında bilgi verirseniz sevinirim)
cnt
Üye
Üye
 
İleti: 102
Kayıt: 31.10.2005, 16:27

İleti Diyalektik 27.01.2006, 11:47

Şu an itibarıyla Google Bot Detector'e bakınca 83 sayfanın index'lendiği görülüyor. Malum, dün gece sadece 2 sayfa vardı!
Dosyayı *.gz olarak yollamıştım server'a. www.google.com/webmasters/sitemaps/siteoverview?hl=en 'e ekledim ve sorun yok. Zira zaten sitede de, programda da *.gz seçeneği mevcut...

sitemap.xml: 5.87 mb
sitemap.xml.gz: 236 kb

Şimdi esas soru şu sanırım: Google Bot Detector'a bakınca, google'ın ziyaret ettiği sayfalar görülüyor ya; peki bu şu demek mi oluyor?: google, ziyaret ettiği o sayfalarda geçen yazışmaları hafızasına alıyor, ve birileri google arama motorundan "o kelimeleri çağırdığında", google o sayfaları buluyor. Doğru mu?
Kullanıcı avatarı
Diyalektik
Kıdemli Üye
Kıdemli Üye
 
İleti: 263
Kayıt: 14.11.2005, 13:12
Konum: İstanbul

İleti cnt 27.01.2006, 16:29

hımmm sitede .gz seçeneğinin mevcut olduğu gözüme çarpmamıştı. o zaman no problem :)

2. soruna gelince, boot kafasına göre takılıyo bence. ne zaman dolaştığı sayfayı indexleyeceğini kendi bilir.
cnt
Üye
Üye
 
İleti: 102
Kayıt: 31.10.2005, 16:27

İleti AkrepKral 28.01.2006, 04:29

Diyalektik Mutlu sona ulaştığına sevindim dostum. Ben her gün sabah 5'e kadar nette kaldığım için çok daha iyi takip etme imkanım oluyor. cnt'nin dediklerinin ne kadarı doğru çıkar bilemiyorum henüz net bir şey söyleyemem. Ama özellikle programın oluşturduğu dosyaları google sitemapta kaydettikten sonra google taramasında gözle görülür bir artış oldu. iki hafta içerisinde Sonuç şu:

Google ziyareti: 3278
MSN ziyareti: 644
Yahoo ziyareti: 247

Google sayacını yeni eklediğim için aradan ne kadar zaman geçti tam olarak bilemiyorum ama özellikle google tarafından çok aşırı bir ziyaret oldu. Hatta hem banvid nedeniyle hem de denemek amacıyla Bu gün 24:00 ten itibaren google reklamlarını kaldırdım. Onlar olmamasına rağmen botlar sayfalarda dolaşmaya devam ettiler. Google Bot Detector'ün gösterdi sayfa sayısı ise google reklamlarını kapattıktan sonra dahi 35 sayfa civarında gösteriyor. Bir de şu dkaktimi çekti. Google Bot Detector de botlar GSiteCrawler'deki "her gün kontrol et" ayarında olduğu gibi her gün hemen hemen aynı saatlerde sayfalara bakmaya devam ediyorlar. Özellikle bende saat: Cmt 28 Oca, 2006 01:07 civarında başlamışlar. Yani google reklamlarını da kapattıktan sonra. Daha önce böyle olmuyordu. Eğer yukarıda yazdıklarıma bakarak yorum yapacak olursak kesinlikle işe yarıyor.

https://www.google.com/webmasters/sitemaps/ adresinde eklenmiş olan linklerimi arada bir kontrol ediyorum. Sitemap.xml dosyasını kayıt ettikten sonra yeni bir çok link eklenmişti. Ama bunların içi boştu. YAni link açılıyor ama herhanbir şey çıkmıyodu. Admin panelde google bot IP nolarını dikkat ettim ve bunları google bot detector ile karşılaştırdım. Önce link kaydediliyor. Daha sonrada geriye dönük olarak içerik ekleniyor. Google bot detector'daki linkleri önizleme yaptıysanız sizin de dikkatinizi çekmiştir (veya ben de öyle olabilir) yeni oluşturulmuş sayfalar değil eski sayfalar orada.

Velhasıl-ı Kelam. Öyle ya da böyle. İşe yarıyor. Eskiden sadece google arama kutusunun ve sık ziyaret edilen sayfalar googlede güncelleniyordu onlarda çok uzun aralıklarla. Şimdi ise hemen hemen tüm sayfalar ve çok daha hızlı bir şekilde. İşte ispatı.

http://www.google.com/search?q=site:htt ... l%2F&hl=en

Burdaki linklerin %90'ı geçen hafta içerisinde açılmıyordu. 40 küsür sayfa vardı ve link kodlarından müteşekkil boş -görüntülenemiyor- sayfaları vardı. Şimdi ise 88 Sayfa (her bir google sayfasında 10 sayfa) var hepside açılıyor. Google Bot Detectorda sayfaları incelediğim için hemen dikkatimi çekti; Orda botlar tarafından ziyaret edildi diye indexlenen sayfalar Googlede yukarıda verdiğim linkte yerlerini almışlar. Yani her iki programda işe yarıyor.

Bana iki günde 1 GB banvide malolsa da sonucunu aldım. Sitemap eklendikten bir hafta sonrasında tüm taranan sayfalar doldurularak tamamlanıyor merak etmeyin ve sabırla bekleyin. Resim
Kullanıcı avatarı
AkrepKral
Üye
Üye
 
İleti: 142
Kayıt: 28.11.2005, 00:13

İleti Diyalektik 28.01.2006, 18:13

28 Ocak 2006 itibarıyla:
Results 1 - 10 of about 28 from www....
www.google.com/search?hl=en&lr=&q=site% ... tnG=Search

Not: Yukarıdaki bağlantıda da görüleceği üzere şu an itibarıyla 28 bağlantıda sadece 1 tane forum bağlantısı var.
Bakalım 5-10 gün sonra ne olacak...
Kullanıcı avatarı
Diyalektik
Kıdemli Üye
Kıdemli Üye
 
İleti: 263
Kayıt: 14.11.2005, 13:12
Konum: İstanbul

İleti AkrepKral 28.01.2006, 21:40

Bu gün gösterilen sayfa sayısı azalmış. Dün 80 sayfa vardı bu gün 19 Sayfaya düşmüş.
Kullanıcı avatarı
AkrepKral
Üye
Üye
 
İleti: 142
Kayıt: 28.11.2005, 00:13

İleti AkrepKral 29.01.2006, 03:23

İlginç ama saat: 03:22 itibariyle adreste gösterilen sayfa sayısı 88. Bu saate göre mi değişiyor anlamadım. ?
Kullanıcı avatarı
AkrepKral
Üye
Üye
 
İleti: 142
Kayıt: 28.11.2005, 00:13

İleti cnt 29.01.2006, 03:49

google da bu aralar toolbar güncellemsi için çalışmalar var sanırım, o yüzden hem pageranklar hemde arama sonuçları kararsız.
cnt
Üye
Üye
 
İleti: 102
Kayıt: 31.10.2005, 16:27

İleti AkrepKral 29.01.2006, 04:41

Olabilir cnt.
Kullanıcı avatarı
AkrepKral
Üye
Üye
 
İleti: 142
Kayıt: 28.11.2005, 00:13

İleti kobataj 29.01.2006, 10:51

Ya ben karasızım ne yalan sölim.Acep yapsammı mı? yapmasammı?
Alala
Kullanıcı avatarı
kobataj
Üye
Üye
 
İleti: 51
Kayıt: 28.12.2005, 19:30

İleti Diyalektik 29.01.2006, 11:41

Bir hafta kadar, benim istatistiklerimin sonucunu bekleyin isterseniz. Benimkiler de Akrep gbi olursa...
Kullanıcı avatarı
Diyalektik
Kıdemli Üye
Kıdemli Üye
 
İleti: 263
Kayıt: 14.11.2005, 13:12
Konum: İstanbul

İleti AkrepKral 30.01.2006, 01:13

kobataj, öyle yada böyle işe yarıyor. Sitemapı elle yapmak çok zor oluyor. bu programla uzun sürsede fayfası oluyor. Yalnız aylık tiransfer miktarın düşükse bir kaç kez daha düşün derim.
Kullanıcı avatarı
AkrepKral
Üye
Üye
 
İleti: 142
Kayıt: 28.11.2005, 00:13

İleti Diyalektik 01.02.2006, 17:02

28 Ocak 2006'da:
Results 1 - 10 of about 28 from www....
www.google.com/search?hl=en&lr=&q=site% ... tnG=Search

01 Şubat 2006'da:
Results 1 - 10 of about 172
www.google.com/search?hl=en&lr=&q=site% ... tnG=Search

Güzeeeel :)

NOT: Bu mesajı yazdıktan 3 dakika sonra 172 gitti, yerine 28 geldi! Sanırım google sapıttı :)
Ama o arada 172 sayfanın bağlantılarında yer alan sayfalarda geçen sözleri arattığımda google'dan, sayfaları buldu.
Kullanıcı avatarı
Diyalektik
Kıdemli Üye
Kıdemli Üye
 
İleti: 263
Kayıt: 14.11.2005, 13:12
Konum: İstanbul

ÖncekiSonraki

Arama Motoru Optimizasyonu



Kimler çevrimiçi

Bu forumu görüntüleyenler: Kayıtlı kullanıcı yok ve 0 misafir

cron