Indexing Nedir? Arama Motorları Sayfaları Nasıl İndeksler?

SEO 101 · DERS 06
MODÜL: SEARCH SİSTEMİ

Indexing veya Türkçede indeksleme, arama motorunun crawl ettiği içeriği analiz ederek arama sırasında kullanılabilecek yapılara dahil etme sürecidir. Crawling sırasında crawler sayfaya erişip içeriği getirir; indexing aşamasında ise bu içeriğin ne olduğu, diğer içeriklerle nasıl ilişkili olduğu ve Search sistemlerinde nasıl temsil edileceği değerlendirilir.

Bu nedenle “Google sayfayı crawl etti” ile “Google sayfayı indexledi” aynı cümle değildir. Bir URL crawl edilmiş olabilir fakat bağımsız bir Search kaydı olarak indexlenmeyebilir.

DISCOVERED
↓
CRAWLED
↓
PROCESSED
↓
INDEXED
↓
RETRIEVAL / RANKING

Indexing ne demektir?

Arama motorunun her sorguda bütün web’i yeniden taraması pratik değildir. Bunun yerine içerikler önceden keşfedilir, crawl edilir ve uygun olanlar aranabilir sistemlere dahil edilir. Kullanıcı daha sonra bir sorgu gönderdiğinde arama sistemi bu hazırlanmış koleksiyon ve diğer Search sistemleri üzerinden ilgili olabilecek sonuçları bulabilir.

Indexing’i yalnız “URL’yi veritabanına kaydetmek” şeklinde düşünmek fazla basittir. Arama motoru sayfadaki temel içeriği işler, sayfanın neyi temsil ettiğini anlamaya çalışır ve gerektiğinde başka URL’lerle olan benzerlik veya duplicate ilişkilerini de değerlendirebilir.

CRAWLED CONTENT
↓
CONTENT PROCESSING
↓
DOCUMENT / URL EVALUATION
↓
SEARCH INDEX

Buradaki model öğretici bir soyutlamadır. Google’ın kamuya açıklanmamış üretim mimarisinin birebir teknik şeması olarak okunmamalıdır.

Crawling ile indexing arasındaki fark nedir?

Crawling, crawler’ın URL’ye erişerek içeriği getirmesiyle ilgilidir. Indexing ise getirilen içeriğin işlenmesi ve Search sistemlerinde aranabilir bir kayıt olarak kullanılıp kullanılmayacağının değerlendirilmesidir.

	Crawling	Indexing
Temel soru	İçeriğe erişilebildi mi?	İçerik Search index’e dahil edildi mi?
Temel işlem	URL’ye erişim ve içeriğin alınması	İçeriğin işlenmesi ve temsil edilmesi
Sonuç	İçerik sisteme getirilebilir	İçerik arama sırasında kullanılabilir hale gelebilir

Crawling kavramını henüz okumadıysan önce Crawling Nedir? dersine dönmek bu ayrımı daha net hale getirir.

Search index nedir?

Search index, arama sisteminin daha önce işlediği içerikleri sorgu sırasında verimli biçimde bulabilmek için kullandığı aranabilir yapılara verilen genel isimdir. Burada önemli nokta, index’in web’in birebir kopyası gibi düşünülmemesidir. Arama sistemi içerikleri kendi ihtiyaçlarına göre işler ve farklı veri yapıları üzerinden temsil edebilir.

Basit mental model:

WEB PAGE
↓
PROCESSING
↓
SEARCHABLE REPRESENTATION
↓
SEARCH INDEX

Bu dersin amacı index’in veri yapısı ayrıntılarına girmek değil. Terimlerin dokümanlarla nasıl eşleştirildiği ve sorgu sırasında hızlı retrieval’ın nasıl mümkün olduğu daha ileri bir Information Retrieval problemidir. Bu tarafı Inverted Index Nedir? yazısında ayrıca ele alıyorum.

Indexing sırasında içerik neden işlenir?

Arama motorunun yalnız URL’yi bilmesi yeterli değildir. Kullanıcı bir sorgu gönderdiğinde hangi belgelerin ilgili olabileceğini değerlendirebilmek için sayfaların içeriği hakkında önceden işlenmiş bilgilere ihtiyaç vardır.

Google’ın kendi üst seviye açıklamasında indexing sırasında sayfadaki metin, görsel ve video gibi içerikler analiz edilebilir. Aynı veya çok benzer içerikleri temsil eden birden fazla URL varsa sistem bunların ilişkisini de değerlendirebilir.

Bu nedenle indexing’i:

"URL'yi kaydet"

komutundan çok:

"Bu içeriği işle,
neyi temsil ettiğini değerlendir
ve Search sistemlerinde nasıl tutulacağını belirle."

şeklinde düşünmek daha kullanışlıdır.

Canonicalization indexing’in neresindedir?

Aynı veya büyük ölçüde benzer içeriğe birden fazla URL üzerinden erişilebiliyorsa arama motorunun bunların her birini bağımsız içerikmiş gibi temsil etmesi gerekmeyebilir. Google bu tür durumlarda URL’leri değerlendirebilir ve içerik kümesini temsil edecek bir canonical URL seçebilir.

Örneğin:

/urun/
/urun/?utm_source=email
/urun/?ref=homepage

aynı temel ürünü gösteriyorsa üç ayrı URL bulunmasına rağmen Search sisteminde aynı içeriği temsil eden ilişkili URL’ler olarak değerlendirilebilir.

Ancak canonicalization bu yazının ana konusu değil. rel="canonical", duplicate kümeleri ve Google-selected canonical mantığını Canonical Nedir? rehberinde ayrıntılı ele alıyorum.

Indexable ile indexed aynı şey midir?

Hayır. Indexable, bir URL’nin indekslenmesine ilişkin temel teknik koşullar açısından uygun olmasını ifade eden SEO kavramıdır. Indexed ise arama motorunun URL’yi gerçekten indeksine dahil etmiş olmasıdır.

INDEXABLE
"İndekslenebilir."

INDEXED
"Gerçekten indekslendi."

Bir URL teknik olarak indexable olabilir fakat yine de indexlenmeyebilir. Bu nedenle SEO audit’inde yalnız “noindex yok” veya “HTTP 200 dönüyor” kontrolü yaparak URL’nin Google indeksinde olduğunu varsayamayız.

Bu ayrımın technical SEO teşhis tarafını burada büyütmüyoruz. Crawled - currently not indexed, Discovered - currently not indexed, noindex, robots.txt ve benzeri durumları Crawlability ve Indexability Nedir? yazısında detaylı ele alıyorum.

Indexlenmiş olmak ranking almak anlamına gelir mi?

Hayır. Indexing bir içeriğin Search sistemlerinde aranabilir koleksiyonun parçası haline gelmesiyle ilgilidir. Ranking ise kullanıcı sorgusu geldiğinde ilgili adayların değerlendirilmesi ve sıralanmasıyla ilgilidir.

INDEXED
↓
SEARCHABLE CANDIDATE

ama

INDEXED
≠
RANKING
≠
TRAFFIC

Bir URL Google indeksinde bulunabilir fakat belirli bir sorguda yeterince ilgili görülmeyebilir veya diğer adayların gerisinde kalabilir. Bu durumda problem “Google sayfayı indexlemiyor” değildir; search pipeline’ın daha sonraki katmanlarına bakmak gerekir.

Bir sayfa crawl edildiği halde neden indexlenmeyebilir?

Crawl işleminin gerçekleşmiş olması yalnız arama motorunun içeriğe erişebildiğini gösterir. Indexing bundan sonra verilen ayrı bir karardır. Google da teknik minimum gereksinimleri karşılamanın crawl, index veya Search sonuçlarında gösterim garantisi olmadığını açıkça belirtir.

Burada beginner seviyesinde önemli olan tek mental model şudur:

CRAWLED
↓
INDEXING EVALUATION
↓
INDEXED ?

Neden belirli bir URL’nin indexlenmediğini araştırmak ise ayrı bir technical SEO teşhis problemidir. Bu dersin amacı bütün olası nedenleri ezberletmek değil, crawl ile index arasındaki karar sınırını doğru yere koymaktır.

Indexing neden SEO açısından önemlidir?

Bir sayfanın ilgili sorgularda klasik web sonucu olarak değerlendirilebilmesi için Search sistemlerinin içeriği işleyip uygun biçimde indekslemesi gerekir. Bu nedenle SEO açısından yalnız kaliteli içerik üretmek yeterli değildir; önemli sayfaların search pipeline’ın erken aşamalarında sağlıklı biçimde ilerleyebilmesi gerekir.

Ancak index sayısını kendi başına başarı metriğine çevirmek de hatadır. Bir sitenin amacı mümkün olan her URL’yi Google indeksine sokmak değildir. Filtre URL’leri, duplicate varyasyonlar veya Search’te bağımsız değer üretmesi gerekmeyen başka URL’lerin ayrı ayrı indexlenmesi istenmeyebilir.

SEO’da hedef “daha fazla indexed URL” değil, Search’te anlamlı rolü olan doğru URL’lerin indekslenebilmesidir.

Basit bir indexing örneği

Bir e-ticaret sitesinde yeni ürün sayfası yayınlandığını düşün. Sayfaya kategori üzerinden internal link veriliyor ve crawler URL’yi keşfedip crawl ediyor. Bu aşamada ürün içeriği Search sistemine ulaşmış durumda, fakat süreç henüz bitmiş değil.

PRODUCT PAGE
↓
DISCOVERED
↓
CRAWLED
↓
CONTENT PROCESSED
↓
INDEX DECISION

Arama motoru içeriği işlerken sayfanın başka URL’lerle ilişkisini ve Search sistemlerinde nasıl temsil edileceğini değerlendirebilir. URL indekslenirse bundan sonra ilgili sorgularda sonuç adayı olma ihtimali doğar. Fakat hangi sorguda, hangi pozisyonda görüneceği artık ranking ve retrieval tarafının problemidir.

Junior’ın sık yaptığı hatalar

Yanlış yorum	Daha doğru yaklaşım
Google crawl ettiyse indexlemiştir.	Crawling ve indexing farklı aşamalardır.
Indexable ise indexed’dır.	Teknik uygunluk gerçek index durumunu garanti etmez.
Indexed ise ranking alır.	Ranking ayrı bir sorgu zamanı problemidir.
Daha fazla indexed URL her zaman daha iyidir.	Search’te bağımsız rolü olan doğru URL’ler önemlidir.
Search index web’in birebir kopyasıdır.	İçerik arama için işlenmiş ve temsil edilmiş yapılarda tutulur.

Mini uygulama

Google Search Console erişimin olan bir siteden önemli bir landing page seç ve URL Inspection aracında URL’nin mevcut Google index durumuna bak. Sonra yalnız şu üç soruyu cevapla:

1. Google URL’yi crawl etmiş mi?
2. URL mevcut durumda indexed mı?
3. Bu iki bilgi aynı şeyi mi söylüyor?

Amaç bütün index sorunlarını çözmek değil; crawling ve indexing bilgisini ayrı gözlemler olarak okumayı öğrenmektir.

Bu dersi anladıysan şunları açıklayabilmelisin

• Indexing nedir?
• Crawling ile indexing arasındaki temel fark nedir?
• Search index neden web’in basit bir kopyası değildir?
• Indexable ile indexed neden aynı şey değildir?
• Indexed olmak neden ranking garantisi vermez?
• Canonicalization indexing sürecinde neden anlam kazanır?

SEO 101’de sıradaki

Ranking Nedir? Artık bir URL’nin nasıl keşfedildiğini, crawl edildiğini ve Search index’e nasıl dahil edilebildiğini biliyoruz. Bir sonraki derste kullanıcı sorgusu geldiğinde aday sonuçların nasıl değerlendirildiğini ve ranking’in neden indexing ile aynı problem olmadığını ele alacağız.

Derin okuma

• Arama Motorları Nasıl Çalışır? Tarama, İndeksleme, Retrieval ve Sıralama
• Crawlability ve Indexability Nedir? Aralarındaki Fark Nedir?
• Canonical Nedir? Google Canonical URL’yi Nasıl Seçer?
• Inverted Index Nedir? Ters İndeks Nasıl Çalışır?

Kaynaklar ve teknik referanslar

• Google Search Central — In-depth Guide to How Google Search Works
• Google Search Central — URL Canonicalization
• Google Search Central — Technical Requirements