Arama Motorları Nasıl Çalışır? Tarama, İndeksleme, Retrieval ve Sıralama

Bir arama sonucu, kullanıcı sorguyu yazdığı anda bütün internetin aranmasıyla oluşmaz. Arama motorları web üzerindeki sayfaları önceden keşfeder, işler ve aranabilir yapılara dahil eder. Kullanıcı bir sorgu gönderdiğinde ise bu hazırlanmış yapı üzerinden ilgili olabilecek sonuçlar bulunur, değerlendirilir, sıralanır ve kullanıcıya sunulur.

Bu süreci anlamanın en kullanışlı yollarından biri sistemi iki zaman dilimine ayırmaktır: sorgudan önce gerçekleşen keşif ve indeks oluşturma süreçleri ile sorgu geldikten sonra gerçekleşen retrieval ve sıralama süreçleri.

Google kendi Search Central dokümantasyonunda Google Search’ün üst düzey işleyişini crawling, indexing ve serving search results olmak üzere üç ana aşamada açıklar.^[1] Bu yazıda ise arama sistemlerini daha iyi anlamak için bu üst düzey modeli daha küçük kavramsal parçalara ayıracağız.

Arama motorlarının çalışma süreci nasıl görünür?

Basitleştirilmiş bir arama sistemi iki ana akış üzerinden düşünülebilir.

Sorgudan önce

1. Yeni ve güncellenmiş URL’ler keşfedilir.
2. Sayfalar taranır.
3. Gerekli olduğunda içerik render edilir ve işlenir.
4. Uygun içerikler arama indeksine dahil edilir.

Sorgu geldikten sonra

1. Kullanıcının sorgusu işlenir.
2. İlgili olabilecek belgeler veya içerikler bulunur.
3. Adaylar skorlanabilir ve ilk sıralama oluşturulabilir.
4. Daha ayrıntılı ranking veya reranking sistemleri adayları yeniden değerlendirebilir.
5. Sonuçlar kullanıcıya sunulur.

Bu ikinci model, modern information retrieval sistemlerini anlamak için kullanılan kavramsal bir ayrımdır. Google Search’ün kamuya açıklanmamış üretim mimarisinin birebir teknik şeması olarak okunmamalıdır.

1. URL Discovery ve Crawling: Arama motoru sayfaları nasıl bulur ve getirir?

URL discovery, arama motorunun tarayabileceği yeni ve güncellenmiş URL’leri bulma sürecidir. Crawling veya tarama ise keşfedilmiş bir URL’ye istek göndererek sayfanın içeriğini getirme işlemidir.

Web üzerinde bütün sayfaları içeren merkezi bir kayıt sistemi yoktur. Bu nedenle arama motorları yeni ve güncellenmiş URL’leri sürekli olarak keşfetmek zorundadır. Google bu süreci kendi dokümantasyonunda URL discovery olarak adlandırır.^[1]

Yeni URL’ler başka sayfalardaki bağlantılar, site haritaları ve daha önce bilinen sayfalardaki değişiklikler gibi yollarla bulunabilir. Bir URL bilinir hale geldikten sonra crawler sayfaya HTTP isteği göndererek içeriğini getirmeye çalışabilir.

Discovery ile crawling bu nedenle aynı problem değildir:

• Discovery: Hangi URL’lerin var olduğunu bulmak.
• Crawling: Bilinen URL’ye erişerek içeriğini getirmek.

Crawling sırasında ne olur?

Googlebot bir URL’yi işlemeye karar verdiğinde sunucuya HTTP isteği gönderir ve aldığı yanıtı değerlendirir. HTTP durum kodları, robots.txt kuralları, sunucu yanıtları ve sayfanın erişilebilirliği bu noktada önem kazanır.

Ancak bir URL’nin taranmış olması sonraki aşamaların garanti edildiği anlamına gelmez. Google, bir sayfanın taranmasını, indekslenmesini veya arama sonuçlarında gösterilmesini garanti etmediğini açıkça belirtir.^[1]

JavaScript ve rendering bu sürecin neresinde?

JavaScript kullanan sayfalarda yalnızca ilk HTML yanıtını almak her zaman gerçek içeriği görmek için yeterli olmayabilir. Google, JavaScript destekli sayfaların işlenmesini crawling, rendering ve indexing olarak ayrı aşamalar halinde açıklar.^[2]

Googlebot URL’yi taradıktan sonra sayfa rendering için sıraya alınabilir. Google’ın Web Rendering Service sistemi JavaScript’i çalıştırabilir ve oluşturulan HTML daha sonraki işleme ve indeksleme süreçlerinde kullanılabilir.

Bu nedenle bir URL’ye erişilebilmesi, JavaScript ile oluşturulan bütün içeriğin sorunsuz biçimde render edildiği ve indekslendiği anlamına gelmez.

Rendering kendi başına geniş bir JavaScript SEO konusudur. Buradaki amaç yalnızca search pipeline içindeki yerini anlamaktır.

2. Indexing: Taranan sayfa nasıl aranabilir hale gelir?

Indexing veya indeksleme, arama motorunun taradığı içeriği analiz ederek arama sırasında kullanılabilecek yapılara dahil etme sürecidir.

Bunu yalnızca “sayfayı bir veritabanına kaydetmek” şeklinde düşünmek fazla basittir.

Google indexing sırasında sayfadaki metin, görseller ve video gibi temel içerikleri analiz eder. Ayrıca bir sayfanın başka sayfalarla aynı veya çok benzer olup olmadığını değerlendirebilir ve benzer içerik kümeleri içinden temsilci bir canonical URL seçebilir.^[1][3]

Crawl edilmiş bir sayfa mutlaka indexlenir mi?

Hayır.

Google’ın bir URL’yi crawl etmiş olması, URL’nin mutlaka Google indeksine dahil edileceği anlamına gelmez. Aynı şekilde teknik olarak indekslenmeye uygun bir URL de fiilen indekslenmemiş olabilir.

• Crawlability: Arama motoru URL’ye erişip içeriğini getirebiliyor mu?
• Indexability: Teknik direktifler ve sayfa yapısı içeriğin indekslenmesine izin veriyor mu?
• Index status: URL gerçekten arama indeksine dahil edilmiş mi?
• Search visibility: Sayfa ilgili sorgularda görünürlük kazanıyor mu?

Bir URL teknik olarak indexable olabilir fakat buna rağmen indekslenmeyebilir. Google, minimum teknik gereksinimleri karşılamanın crawling, indexing veya arama sonuçlarında gösterilmeyi garanti etmediğini belirtir.^[1]

Bu ayrım teknik SEO teşhisinde önemlidir. Bir sayfanın Google’da görünmemesini otomatik olarak “ranking problemi” olarak tanımlamak çoğu zaman teşhisi gereğinden geç başlatır.

Kullanıcı arama yaptığında ne değişir?

Crawling ve indexing tarafında arama motoru sorgudan önce web’i keşfetmiş ve aranabilir bir yapı hazırlamıştır.

Şimdi kullanıcı örneğin:

“M8 civata ölçüleri”

şeklinde bir sorgu gönderdiğinde arama motorunun bütün interneti yeniden taraması gerekmez. Sistem mevcut indeks ve sorguya cevap üretmek için kullandığı diğer search sistemleri üzerinden çalışır.

Bu noktadan itibaren farklı bir problem görünür hale gelir:

Çok büyük bir içerik koleksiyonundan bu sorguyla ilişkili olabilecek sonuçları nasıl bulacağız?

Sorgu zamanındaki retrieval problemi burada görünür hale gelir.

3. Retrieval: İlgili olabilecek aday sonuçlar nasıl bulunur?

Retrieval, büyük bir doküman veya içerik koleksiyonundan kullanıcının sorgusuyla ilişkili olabilecek adayları verimli biçimde bulma işlemidir.

Burada bir terminoloji ayrımı yapmak gerekir.

Information Retrieval, insanların bilgi ihtiyacına uygun içeriğin bulunmasını inceleyen daha geniş bir çalışma alanıdır. Index oluşturma, query processing, scoring, ranked retrieval ve evaluation gibi birçok problem bu alanın içindedir.

Retrieval ise çok aşamalı bir search architecture içinde daha dar anlamda büyük koleksiyondan aday belge veya içeriklerin seçilmesi aşamasını ifade edebilir.

Bu ikisini birebir aynı kavram gibi kullanmak doğru değildir.

Neden önce bir aday kümesi oluşturulur?

Bir search sistemi açısından bütün koleksiyonu her sorguda aynı maliyetli hesaplamalarla değerlendirmek verimsiz olabilir.

Bu nedenle modern information retrieval sistemlerini anlamak için şu tür bir kavramsal model kullanılabilir:

Büyük koleksiyon → hızlı aday getirme → daha küçük aday kümesi → daha ayrıntılı değerlendirme → sonuçlar

Bu yalnızca öğretim amacıyla kullanılan genel bir search-system modelidir. Google Search’ün tam üretim mimarisinin birebir böyle olduğu veya belirli sayıda aday belge kullandığı iddia edilmemelidir.

Retrieval aşamasında sıralama olmaz mı?

Olabilir.

“Retrieval adayları bulur, ranking sıralar” cümlesi kavramsal ayrımı öğretmek için kullanışlıdır fakat teknik olarak fazla kesin kurulursa yanıltıcı olur.

Retrieval sistemleri adayları belirlerken relevance skorları hesaplayabilir ve bir ilk sıralama oluşturabilir. Örneğin Google Cloud Agent Search dokümantasyonunda retrieval sırasında getirilen dokümanlara relevance score atandığı, ardından ranking modelinin bu dokümanlara yeni skorlar vererek sıralamayı yeniden düzenlediği açıklanır.^[5]

Bu örnek Google Search’ün kamuya açıklanmamış üretim mimarisini göstermez. Modern çok aşamalı arama sistemlerinde retrieval ve ranking’in nasıl birlikte çalışabileceğine dair kamuya açık bir ürün örneğidir.

Stanford’un Introduction to Information Retrieval kaynağı da sorgu işleme, belge getirme, scoring ve sıralama bileşenlerini daha geniş bir information retrieval sistemi içinde ele alır.^[4]

Retrieval, büyük koleksiyondan sorguyla ilişkili adayları verimli biçimde seçmeye odaklanır ve kendi ilk skorlarını üretebilir. Daha sonraki ranking veya reranking katmanları ise aday kümesini ek sinyaller ve modellerle daha ayrıntılı değerlendirebilir.

Retrieval ile ranking arasındaki fark nedir?

Retrieval’ın temel problemi hangi içeriklerin değerlendirmeye alınacağını belirlemektir. Ranking’in temel problemi ise eldeki adayların sorgu için hangi sırada sunulması gerektiğini değerlendirmektir.

Kriter	Retrieval	Ranking / Reranking
Temel görev	İlgili adayları bulmak	Adayları daha ayrıntılı değerlendirmek ve sıralamak
Çalıştığı alan	Çok büyük belge veya içerik koleksiyonu	Daha küçük aday kümesi
Öncelik	İlgili sonuçları kaçırmadan verimli aday üretmek	En alakalı ve yararlı adayların sırasını iyileştirmek
Scoring	İlk relevance skorları üretebilir	Daha ayrıntılı veya yeni skorlar üretebilir
Çıktı	Aday sonuçlar	Sıralanmış sonuçlar

Gerçek sistemlerde bu sınırlar her zaman kusursuz biçimde ayrılmış değildir. Retrieval, scoring ve ranking birbirine bağlı çalışabilir. Buradaki ayrım, bir arama sisteminin farklı hesaplama problemlerini anlamayı kolaylaştırır.

4. Ranking: Arama sonuçları nasıl sıralanır?

Ranking, sorguyla ilişkili sonuçların hangilerinin kullanıcı için daha alakalı ve yararlı olabileceğini değerlendirerek sonuç sırasını oluşturma problemidir.

Burada sık yapılan hata Google Search’ü tek bir “algoritma” veya sabit bir “200 ranking faktörü” listesi olarak düşünmektir.

Google kendi dokümantasyonunda yüz milyarlarca web sayfası ve diğer içerikler hakkında birçok faktör ve sinyali değerlendiren otomatik ranking sistemleri kullandığını açıklar.^[6]

Google ayrıca BERT, neural matching, RankBrain, passage ranking, freshness systems ve link analysis gibi farklı görevlerde kullanılan veya ranking sistemlerinin parçası olan teknolojileri kamuya açık biçimde açıklar.^[6]

Dolayısıyla modern web search’te ranking, tek bir formülün bütün sayfalara aynı şekilde uygulanması olarak düşünülmemelidir.

Sorgunun niteliğine göre farklı bilgi ve sinyallerin önemi değişebilir. Güncellik gerektiren bir sorguyla yıllardır değişmeyen teknik bir tanımın aynı şekilde değerlendirilmesini beklemek mantıklı değildir.

Reranking nedir?

Reranking, daha önce getirilmiş ve çoğu zaman ilk kez skorlanmış bir aday kümesinin daha ayrıntılı bir model veya ek sinyaller kullanılarak yeniden değerlendirilmesidir.

Basitleştirilmiş model:

Büyük koleksiyon → hızlı retrieval → aday kümesi → daha ayrıntılı ranking/reranking → sonuçlar

Reranking; dense retrieval, hybrid search ve daha sonraki AI Search sistemlerini anlamak için önemli bir kavramdır. Ancak kendi başına ayrı bir konudur ve burada yalnızca pipeline içindeki rolünü anlamak yeterlidir.

5. Serving ve sonuçların kullanıcıya sunulması

Google’ın resmi üst düzey modelinde üçüncü ana aşama serving search results olarak adlandırılır.^[1]

Burada önemli bir terminoloji ayrımı vardır. Google’ın kullandığı “serving” kavramı yalnızca sıralanmış bağlantıların ekrana çizilmesi anlamına gelmez. Google bu üst aşamayı, kullanıcı sorgusuna ilgili bilgilerin bulunup sonuç olarak döndürülmesini kapsayan daha geniş bir süreç olarak kullanır.

Bu yazıdaki öğretim modelinde ise bu geniş aşamayı anlamayı kolaylaştırmak için:

query processing → retrieval → ranking/reranking → sonuçların sunulması

şeklinde daha küçük kavramsal problemlere ayırıyoruz.

Son kullanıcı tarafında sonuç ekranı yalnız klasik organik bağlantılardan oluşmak zorunda değildir. Sorguya bağlı olarak görseller, videolar, yerel sonuçlar ve farklı SERP özellikleri gösterilebilir.

Crawling, indexing, retrieval ve ranking neden aynı şey değildir?

Search sistemlerini öğrenirken kullanılabilecek kısa teşhis modeli şöyledir:

Kavram	Temel soru
Discovery	Arama motoru URL’nin varlığından haberdar mı?
Crawling	Arama motoru URL’ye erişip içeriğini getirebiliyor mu?
Indexing	İçerik işlenip aranabilir yapılara dahil edilmiş mi?
Retrieval	İçerik belirli bir sorgu için alakalı adaylar arasına girebiliyor mu?
Ranking	Adaylar arasında ne kadar güçlü bir konum elde ediyor?
Result presentation	Kullanıcıya hangi sonuç formatında ve bağlamda sunuluyor?

Bundan birkaç önemli sonuç çıkar.

Discovered ≠ Crawled
Bir arama motorunun URL’nin varlığını bilmesi URL’nin içeriğini mutlaka getirdiği anlamına gelmez.

Crawled ≠ Indexed
Bir sayfanın taranması indekslenmesini garanti etmez.

Indexable ≠ Indexed
Teknik olarak indekslenmeye uygun olmak, URL’nin fiilen arama indeksine alınmış olduğu anlamına gelmez.

Indexed ≠ Retrieved
Bir sayfanın indekste bulunması her sorgu için aday olacağı anlamına gelmez.

Retrieved ≠ Highly Ranked
Bir sorguyla ilişkili adaylardan biri olmak üst sıralarda görünmek anlamına gelmez.

Ranked ≠ Business Outcome
Arama görünürlüğü elde etmek, kullanıcının sayfada istediğiniz davranışı gerçekleştireceğini garanti etmez.

Bu model SEO açısından neden önemli?

SEO problemlerinin tamamını “neden rank almıyoruz?” sorusuna indirgemek teşhisi zorlaştırır.

Gerçek bir projede önce problemin search pipeline’ın hangi bölümünde oluşabileceğini anlamak gerekir.

Gözlem	İncelenmesi gereken alanlar
URL kolayca keşfedilemiyor	Site mimarisi, internal linking, discovery
Googlebot URL’ye erişemiyor	Crawlability, robots kuralları, response codes, sunucu
URL taranıyor fakat indexlenmiyor	Indexability, canonicalization, içerik ve teknik direktifler
URL indexte fakat hedef sorgularda görünmüyor	Intent, relevance, retrieval, içerik kapsamı ve rekabet
Hedef sorguda yanlış URL görünüyor	Query ownership, page role, internal linking ve içerik mimarisi
Organik görünürlük var fakat sonuç üretmiyor	Kullanıcı yolculuğu, landing page, conversion ve ölçüm

Buradaki tablo kesin teşhis formülü değildir. Örneğin bir sayfanın indexte olup görünürlük kazanamaması otomatik olarak “retrieval problemi” olduğu anlamına gelmez. Intent uyumsuzluğu, rekabet, kalite, sorgu ilişkisi veya başka ranking sistemleri de sonucu etkileyebilir.

Asıl amaç problemi doğru katmanda aramaya başlamaktır.

Arama sistemlerini anlamak SEO’ya nasıl bakışı değiştirir?

Search Systems perspektifinden bakıldığında SEO yalnızca mevcut bir sayfanın sırasını yükseltme işi değildir.

SEO açısından sağlıklı başlangıç, URL’nin keşfedilebilir ve crawler tarafından erişilebilir olmasıdır. Özellikle sayfanın kendi içeriğine dayalı sürdürülebilir organik görünürlük elde edebilmesi için arama motorunun gösterilmesi gereken içeriğe erişebilmesi gerekir.

Google, robots.txt nedeniyle içeriğini crawl edemediği bazı URL’leri başka sayfalardaki bağlantılar üzerinden keşfedebilir ve URL’yi sınırlı bilgilerle arama sonuçlarında gösterebilir. Bu nedenle crawler erişimini her türlü görünürlük için mutlak koşul olarak tanımlamak doğru değildir.^[7]

Normal bir SEO senaryosunda bir URL’nin:

1. keşfedilebilir olması,
2. crawler tarafından erişilebilir olması,
3. içeriğinin doğru biçimde işlenebilmesi,
4. indekslenmeye uygun olması,
5. gerçekten arama indeksine dahil edilmesi,
6. ilgili sorgular için anlamlı bir aday haline gelmesi,
7. diğer adaylara karşı rekabet edebilmesi

gerekir.

Bu zincir aynı zamanda teknik SEO, içerik mimarisi, internal linking, search intent ve query ownership gibi konuların neden birbirinden tamamen bağımsız işler olmadığını da açıklar.

Örneğin bir internal link kararı yalnızca otorite dağılımıyla ilgili değildir. Aynı zamanda crawler’ın sayfayı keşfetmesine, site içindeki ilişkilerin görünür hale gelmesine ve hangi URL’nin hangi konuyla ilişkili olduğunun anlaşılmasına katkıda bulunabilir.

Benzer şekilde yeni bir içerik üretmek yalnız doğru keyword’ü metne eklemek değildir. Önce bu search demand’in hangi sayfa tarafından karşılanması gerektiğine karar vermek gerekir.

Buradan sonra hangi kavramları öğrenmek gerekir?

Bu yazı Search Systems konusunun genel haritasıdır. Sistemin parçalarını daha ayrıntılı anlamak için doğal öğrenme sırası şöyledir:

1. Information Retrieval: Bilgi ihtiyacına uygun içeriği bulma probleminin daha geniş teorik çerçevesi.
2. Inverted Index: Klasik text retrieval sistemlerinde hızlı arama yapmayı sağlayan temel veri yapılarından biri.
3. Lexical Retrieval: Sorgu ve belgelerdeki terimlerin ilişkisini kullanan retrieval yaklaşımları.
4. Dense Retrieval: Sorgu ve belgelerin öğrenilmiş vektör temsilleri üzerinden eşleştirilmesi.
5. Hybrid Search: Birden fazla retrieval yaklaşımının birlikte kullanılması.
6. Reranking: Getirilen aday kümesinin daha ayrıntılı biçimde yeniden değerlendirilmesi.
7. Query Understanding: Kullanıcının sorgusunun anlamı, bağlamı ve ihtiyacının modellenmesi.
8. Link Analysis: Web üzerindeki bağlantı grafiğinin arama sistemleri açısından nasıl kullanılabildiği.
9. AI Search ve RAG: Retrieval sistemlerinin generative modellerle birleştiğinde nasıl farklı bir kullanıcı deneyimi oluşturduğu.

Bu kavramların tamamı ayrı ayrı teknik konular olsa da aynı sistemin farklı bölümlerini açıklar.

Bu yüzden Search Systems öğrenirken amaç mümkün olduğunca fazla terim ezberlemek değil, bir bilginin web’den keşfedilmesinden kullanıcıya sonuç olarak sunulmasına kadar hangi problemlerin çözülmesi gerektiğini anlamaktır.

Bu seride sonraki adım Information Retrieval: Bir sistemin kullanıcının bilgi ihtiyacına uygun içeriği nasıl bulduğunu daha temel seviyeden inceleyeceğiz.

Arama sistemleriyle ilgili diğer içerikleri Search Systems bölümünde, bu sistem bilgisinin web sitesi kararlarına nasıl dönüştüğünü ise SEO bölümünde takip edebilirsiniz.

Kaynaklar ve teknik referanslar

1. Google Search Central — How Google Search Works
2. Google Search Central — JavaScript SEO Basics
3. Google Search Central — What Is URL Canonicalization?
4. Manning, Raghavan & Schütze — Introduction to Information Retrieval: Putting It All Together
5. Google Cloud Agent Search — About Retrieval and Ranking
6. Google Search Central — Guide to Google Search Ranking Systems
7. Google Search Central — Introduction to robots.txt