Bing, Tarama Verimliliğini Nasıl Artırıyor?

Geçen Haziran 2018’de Seattle’daki SMX Advanced konferansında önümüzdeki 18 ay boyunca ekibimin tarayıcı Bingbot’umuzu geliştirmeye odaklanacağını açıkladım.

Bu yazının ilerlememizi ve bu yolculuktaki öğrendiklerinizi paylaşma fırsatını kullanmama izin verin.

Neden Taramayı Optimize Etmeliyim?

Öncelikle ilk önce, arama motorlarının neden web’i taraması gerektiğini ve karşılaştıkları zorlukları açıklamama izin verin.

Bing’in tarayıcısı, Bingbot Bing platformunun önemli bir bileşenidir. Bingbot’un ana işlevi şudur:

  • En yeni içeriği edinmek için web sayfalarını indirin ve mevcut bilinen bağlantılardan yeni bağlantılar keşfedin.
  • Endeksli web dokümanlarının hala geçerli olduğunu, ölü linklerin olmadığını ve Bing endeksinin müşteri sonuçlarına alakalı sonuçlarla cevap verebilmek için kapsamlı ve taze kalmasına yardımcı olduğunu doğrulayın.

Örneğin, en yeni uzay roketi fırlatmasını arayan Bing müşterileri, bu roket fırlatma işleminden yalnızca birkaç saniye sonra yeni alakalı web sayfalarını arayabilir ve bulabilir. Bu yeni URL’lere bağlanabilmek için, onları bulmalı, seçmeli, taramalı, işlemeli ve indekslemeliyiz.

Bu yeni URL’leri keşfetmek için, yeni URL’leri izlemek için mevcut bilinen URL’leri düzenli olarak taramamız gerekir.

Keşfedildikten sonra, bu yeni URL’lerin içeriğini almak için tarama yapmamız gerekiyor.

Potansiyel içerik değişikliklerini kontrol etmek ve bu web sayfalarının ölü linkler değil hala geçerli olduğunu doğrulamak için bu yeni dizine eklenmiş URL’leri düzenli olarak taramaya devam etmeliyiz.

Başka bir deyişle, sistemimizdeki her URL’yi bir kereden fazla taradık.

Bing’in endeksini taze ve kapsamlı tutmak iki nedenden ötürü büyüleyici bir meydan okumadır:

Büyük Ölçek

Dünya çapında ağ çok büyük ve hızlı bir şekilde büyümeye devam ediyor. Ekibim her gün daha önce hiç görülmemiş 100 milyardan fazla URL’yi keşfederken, gereksiz URL’ler parametreleri göz ardı ediliyor.

Bu yeni URL’lerin çoğu yararsız olsa da, bazıları Bing müşterilerimiz için alakalı içeriğe sahip harika URL’lerdir.

Hangi URL’ler getirilmeli veya getirilmemelidir?

çeşitlilik

Web siteleri:

  • Özel çözümler içeren çeşitli içerik yönetim sistemleri üzerine kuruludur.
  • Çeşitli web hosting firmalarına ve içerik dağıtım ağlarına ev sahipliği yaptı.
  • Arama motorlarıyla ilgili farklı hedefleri olan farklı kişiler tarafından yönetilir.

Her dava nasıl ele alınmalı?

Web sitesi sahiplerinden, Bingbot’un sitelerini sık sık ve yeterince hızlı bir şekilde taramadığı endişelerini duyduk.

Ayrıca Bingbot’un web sitelerini çok sık taradığı endişelerini duyduk.

Doğru tarama, henüz tam olarak çözülmemiş büyüleyici bir mühendislik problemidir. Bu yüzden küresel olarak onu geliştirmeye ve çözmeye odaklanıyoruz.

Neleri Optimize Ediyoruz?

Ekibimin tarayıcımızı geliştirmek için neler yaptığını incelemeden önce, optimize ettiğimiz anahtar ölçümleri paylaşmama izin verin.

İçerik tazeliği ve anlaşılırlık ihtiyacını karşılamak için Bing’deki ekibimin web sitelerinin indirme kısıtlamalarına uyan etkili ve verimli bir tarama planlaması politikası olması gerekir. Aşağıdakileri yapabilen verimli bir çözüm:

  • Bingbot’un günlük olarak taradığı yüz milyonlarca sunucunun ve milyarlarca web sayfasının çeşitliliğini ölçeklendirin ve yönetin.
  • Sitenin çalışmama sürelerini ele alırken ve çok sık tarama yapmadığımızdan emin olarak tüm oyuncuları – web yöneticilerini, web sitelerini ve içerik yönetim sistemlerini – memnun edin.

Tarayıcımızın performansı üç temel ölçümle ölçülebilir:

Tarama Etkinliği

Bing’in dizinindeki her sayfa, web sürümünün yeni bir kopyası olmalıdır. Web sayfaları çoğu web yöneticisinin düşündüğünden daha sık değişir:

  • Satılan ürünlerin fiyatları günlük olarak değişebilir.
  • Hava durumu sayfaları dünyadaki her şehir için genellikle günde bir kez değişiyor.
  • Telif hakkı tarihleri ​​her yıl değişir.
  • Geçiş reklamları sayfa içine HTML enjekte edebilir.
  • Seattle’daki web sayfalarındaki süre her saniye değişiyor.
  • Şema içeriğindeki değişiklikler bir web sitesi ziyaretçisinin gözünde görünmez!

Anlamlı içerik değişikliklerini ayırt etmek, insanların düşündüğü kadar kolay değildir.

Tarama Verimliliği

Yalnızca güncellenmiş (sayfadaki yeni içerik / yararlı giden bağlantılar) veya yeni URL’leri tararız.

İdeal olarak, içerik yayınlanır yayınlanmaz yeni bir URL’yi tararız ve web sayfasının içeriği güncellendikten sonra veya ölü linkler veya yönlendirmeler yaparlarsa yalnızca bir kez daha tararız.

Ne yazık ki, bazı sitelerdeki içerik değişiklikleriyle ilgili hiçbir sinyal almıyoruz. Bu sitelerde, yalnızca içeriğin değiştiğini keşfetmek için gizli olarak geziniyoruz.

Web Sitesi Nezaket Kısıtlarına Uyun

Asla webmasterların istediğinden daha fazla tarama yapmıyoruz .

Sorun, web sitesi sahiplerinin farklı SEO gereksinimlerine sahip olmaları ve arama motorlarıyla daha fazla veya daha az meşgul olmalarıdır.

Bazı site sahipleri, Bing’i günlük Web üzerinden kotaları hakkında Bing Web Yöneticisi araçlarıyla bilgilendirirken, çoğu site bunu yapmaz. Buna karşılık, arama motoru ayırmak için kotayı tahmin etmek zorunda kalır.

Webmasterlarla konuşurken, onların farklı ihtiyaçları olduğunu gözlemledik.

Bazıları her zaman en son içeriğe sahip olduğumuzdan emin olmak için günlük olarak tüm sayfalarını taramasını isterken, bazı webmasterlar yalnızca güncellenmiş içeriği taramamızı ister.

Nasıl İyileştiriyoruz?

Bingbot için zorluk, web sayfalarını yalnızca bir kez getirememesidir.

Yukarıda belirttiğim gibi, bir sayfa yayınlandıktan sonra, içeriğin güncellendiğini ve bunun ölü bir bağlantı olmadığını keşfetmek için düzenli olarak almamız gerekir.

Neyin ne zaman alınacağının tanımlanması, yardımınızla optimizasyon yapmak istediğimiz sorun.

Bilgisayarlar mükemmel ve verimli hizmetçi yaptıklarından, URL’lerin ne zaman ve ne zaman taranacağını modellemek için bunlardan yararlanıyoruz.

Ancak, bilgisayarlara tam olarak güvenmek istemediğimiz için, webmasterlar ve ekibim, günde ne kadar URL’yi tarayabileceğimize dair son kontrol sahibi.

Varsayılan tarama politikamız, web’de gezinirken olabildiğince kibar davranmaktır.

Optimize etmek için yatırımımızı iki alana odaklıyoruz:

Bingbot’un Tarama Sıklığını Azaltmasına İzin Verecek Kalıpları Tanımlama

Çoğu sitede, günlük olarak yeni web sayfaları yayınlanabilir ve bazı sayfalar düzenli aralıklarla güncellenirken, içeriğin çoğu genellikle aylar ve hatta yıllar boyunca düzenlenmez.

Önceki sayfaların içeriğini büyük ölçüde değiştirmeden, yeni ve güncellenmiş içerikle sitelerin boyutu artar.

Site başına içerik değişikliklerinin daha iyi modellenmesi ve anlaşılması ekibimin temel hedeflerinden biridir. Pek çok sitede zaten gelişme kaydettik ve çok daha fazla geliştirme geliyor.

Web Yöneticisi İpuçlarından Yararlanma

Kaynakları yeni ve güncellenmiş URL’leri keşfetmek için yayınlar (Atom, RSS) ve site haritaları olarak kullandığımız zaman, yeni URL’leri keşfetmek için bu URL’leri sık sık çekmemiz gerekir – çoğu zaman hiçbir şey değişmedi.

Ayrıca, Bing’e günde en fazla 10.000 URL göndererek web yöneticilerinin içeriğini hızlı bir şekilde dizine alma yeteneğini açıkladık .

Bu, bir web yöneticisinin, içeriğini taramak ve dizine eklemek için günlük olarak gönderebileceği URL sayısında önemli bir artıştır. Bu bizim için kısma taramayı benimseme konusunda güçlü bir sinyaldir.

Bize her bir değişiklikten bahsederseniz, bu tür değişiklikleri keşfetmek için tarama gereksinimini sınırlar ve içeriğinizi hızlı bir şekilde dizine alırsınız.

Bu nedenle , içerik değişiklikleriniz hakkında bize gerçek zamanlı bilgi vermek ve tarayıcıların değişmeyen içerik üzerinde sürünerek boşa harcamaktan kaçınmasını önlemek için herkesi Bing Webmaster API’lerini tercihen İçerik Yönetim Sistemlerinize entegre etmeye teşvik ediyoruz . Yoast , bu API’ye desteğini açıkladı .

Star Trek Spock, manzarayı tek bir çiçekle yeniden şekillendirmeye başlayabileceğini söyledi. Bu URL gönderim API’sinin, gezinme manzarasının yeniden şekillenmesini tetikleyen, sektörü ilerleten, dünyayı küresel ısınmaya karşı koruyan doğru bir adım olduğuna inanıyorum.

URL Gönder API’sini iki kolay adımda test edebilirsiniz :

1. Adım: Siteniz için Bing Web Yöneticisi araçları API kimliğinizi alın .

2. Adım: Siteniz için yeni URL’ler gönderin.

Wget kullanarak örnek . Değiştir kimliğini senin tarafından API kimliği , SITEURLtarafından sitenize URL ve bing URL’ye bir tarafından sitenizin URL’si .

URL Gönder API’sini henüz kabul edemeyen siteler için, içerik değişikliği hakkında bilgi edinmek ve onu optimize etmek için mevcut içerik sinyalleri üzerinde tarama zamanlamasını güçlendirmeye ve geliştirmeye devam edeceğiz.

En iyi uygulamalardan biri, sitenizdeki tüm alakalı URL’leri listeleyen ve en az günde bir kez yenileyen bir site haritasına sahip olmanız ve RSS, yeni URL’lerinizi ve güncellenen içeriğe sahip URL’leri listeleyen beslemeleridir.

Ayrıca, farkında olduğumuzdan emin olmak ve analitiklerinizi yeni URL’ler keşfedildikçe incelemek için Bing Webmaster araçlarına site haritalarınızı ve RSS’lerinizi göndermenizi de öneririz.

Gönderildikten sonra, düzenli olarak (çoğu durumda, günde en az bir kez) ileriye doğru hareketleri izleyeceğiz.

Sonuç

Biz ilerleme kaydederken, paletli verimliliğini artırmaya yönelik çalışmalarımız henüz yapılmamıştır.

Tarayıcımızın verimliliğini ve yeteneklerini, tarayıcının zamanlama algoritmasını geliştirmek için kullanılan yüzlerce farklı türde veri türündeki becerilerini ve yeteneklerini geliştirmeye devam etmek için hala birçok fırsatımız var.

0/5 (0 Reviews)
5/5 (1 Review)