Information Retrieval Nedir? Bilgi Erişimi Nasıl Çalışır?

Information Retrieval (IR) nedir, Türkçede bilgi erişimi olarak adlandırılan ve büyük bilgi koleksiyonları içinden kullanıcının gerçek bilgi ihtiyacına uygun materyali bulmayı inceleyen alandır. Aranan materyal bir web sayfası, belge, e-posta, ürün, görsel, video, pasaj veya başka bir bilgi birimi olabilir.

Information Retrieval’ın temel sorusu yalnızca “hangi belgede hangi kelime geçiyor?” değildir. Daha zor soru şudur:

Kullanıcı aslında ne öğrenmek veya bulmak istiyor ve elimizdeki içeriklerden hangileri bu ihtiyacı en iyi karşılıyor?

Bu yüzden Information Retrieval’ı anlamak için üç kavramı birbirinden ayırmak gerekir: information need, query ve relevance.

Stanford’un klasik Introduction to Information Retrieval kitabı Information Retrieval’ı, büyük koleksiyonlar içinden kullanıcının information need’ini karşılayan materyali bulma problemi olarak tanımlar.^[1] Google Research ise information retrieval’ı kullanıcıların ilgisini ve sorgularını en uygun bilgiyle eşleştirmeye çalışan search-engine bilimi olarak çerçeveler.^[2]

Information need, query, document collection, retrieval sistemi ve relevant sonuçlar arasındaki ilişkiyi gösteren Information Retrieval akış diyagramı

Bilgi erişimi hangi problemi çözer?

Bir kullanıcının karşısında milyonlarca belge, web sayfası, ürün veya başka bilgi biriminden oluşan büyük bir koleksiyon olduğunu düşünelim.

Kullanıcı bu koleksiyonun tamamını tek tek incelemek istemez. Belirli bir bilgi ihtiyacı vardır ve bunu sisteme bir sorguyla ifade eder.

Information Retrieval sisteminin görevi bu bilgi ihtiyacına uygun olabilecek içerikleri büyük koleksiyon içerisinden bulmak ve birçok modern uygulamada bunları relevance tahminine göre sıralamaktır.

Bu işleyişi anlamak için sorgudan önce hazırlanan yapılarla sorgu anındaki işlemleri birbirinden ayırmak gerekir.

Sorgu öncesi hazırlık:

Belge koleksiyonu → Belge temsili → İndeks

Sorgu zamanı:

Information Need → Query → Query Processing → Retrieval → Scoring / Ranking → Sonuçlar

Belge koleksiyonu ve indeks, kullanıcının sorgusundan bağımsız olarak hazırlanabilir. Query geldiğinde sistem bu yapılardan yararlanarak ilgili olabilecek adayları bulur ve değerlendirir.

Bu akış öğretim amacıyla sadeleştirilmiştir. Retrieval aşamasında da aday belgelere relevance skorları atanabilir. Sonraki ranking veya reranking aşamaları ise adayları ek sinyaller ve modellerle yeniden değerlendirebilir. Aşamaların sınırları ve kullanılan modeller sistemden sisteme değişir.^[11]

Bu modelde en önemli ayrımlardan biri information need ile query arasındaki farktır.

Information need ile query arasındaki fark nedir?

Information need, kullanıcının gerçekten öğrenmek veya bulmak istediği şeydir. Query ise bu ihtiyacın arama sistemine ifade edilmiş halidir.

Stanford’un Information Retrieval değerlendirme çerçevesinde relevance’ın query’ye değil, information need’e göre değerlendirilmesi gerektiği özellikle vurgulanır.^[3]

Örneğin kullanıcının gerçek ihtiyacı şu olabilir:

M8 civatanın standart çap ve ölçülerini öğrenmek istiyorum.

Fakat kullanıcı arama kutusuna yalnızca:

M8 civata

yazabilir.

Bu query kullanıcının gerçek ihtiyacını kesin biçimde açıklamaz. Başka bir kullanıcı aynı sorguyla M8 civata satın almak, uygun anahtar ölçüsünü öğrenmek veya M8 ile M10 arasındaki farkı karşılaştırmak isteyebilir.

Dolayısıyla bir search sistemi yalnızca query içindeki kelimeleri görmekle yetinemez. Query’nin hangi bilgi ihtiyacını temsil ettiğini mümkün olduğunca iyi tahmin etmesi gerekir.

Bu ayrım daha sonra search intent, query understanding ve query ownership gibi kavramları anlamak için de temel oluşturur.

Relevance nedir?

Relevance, bir içeriğin kullanıcının information need’ini ne ölçüde karşıladığını ifade eder.

Burada kritik ayrım şudur:

Term match ile relevance aynı şey değildir.

Bir belge query’deki bütün kelimeleri içerebilir fakat kullanıcının gerçek ihtiyacına cevap vermeyebilir. Tersi de mümkündür: Kullanıcının ihtiyacını çok iyi karşılayan bir belge query’deki kelimelerin tamamını birebir kullanmayabilir.

Stanford IR literatürü bir belgenin relevant olup olmadığını query kelimelerinin mekanik biçimde bulunmasına göre değil, information need’i karşılayıp karşılamadığına göre değerlendirir.^[3]

Örneğin:

Query: M8 civata ölçüleri

Bir ürün kategori sayfasında “M8 civata” ifadesi çok sayıda geçebilir. Ancak kullanıcı teknik ölçü tablosu arıyorsa yalnızca ürünlerin listelendiği bir kategori sayfası bilgi ihtiyacını tam olarak karşılamayabilir.

Buna karşılık çap, diş adımı, uzunluk ve standartları açık biçimde gösteren teknik bir rehber daha relevant olabilir.

Keyword eşleşmesi relevance için bir sinyal olabilir; relevance’ın kendisi değildir.

Relevance yalnızca ilgili veya ilgisiz midir?

Hayır. Relevance gerçek dünyada her zaman yalnızca “ilgili” veya “ilgisiz” şeklinde ikiye ayrılmaz.

Bir belge kullanıcının ihtiyacını tamamen karşılayabilir, kısmen karşılayabilir veya yalnızca yardımcı bilgi sağlayabilir. Stanford’un değerlendirme yaklaşımı da binary relevance’ın bir sadeleştirme olduğunu, belgelerin gerçekte farklı relevance derecelerine sahip olabileceğini belirtir.^[3]

Bu nedenle bazı IR değerlendirmelerinde binary relevance yeterli olurken bazı ranked retrieval problemlerinde sonuçların relevance derecesini ve sırasını birlikte değerlendiren ölçüler kullanılır.

Relevance ile kullanıcı memnuniyeti aynı şey midir?

Hayır. Bir sonuç relevant olabilir fakat kullanıcı deneyimi yine de başarısız olabilir.

Örneğin içerik konu açısından doğru olsa bile:

bilgi güncel olmayabilir,
sayfa çok yavaş açılabilir,
kullanıcı aradığı tabloyu bulamayabilir,
mobil deneyim kötü olabilir,
sonuç kullanıcının gerçek görevini tamamlamasına yardımcı olmayabilir.

Relevance kullanıcı faydasının önemli bir bileşenidir; fakat kullanıcı memnuniyeti sonuçların sunumu, erişilebilirliği ve görevin tamamlanabilmesi gibi başka etkenlerden de etkilenir.^[10]

Bir Information Retrieval sistemi genel olarak nasıl çalışır?

Information Retrieval tek bir algoritmadan oluşmaz. Farklı sistemler farklı veri yapıları, matching yöntemleri, scoring modelleri ve değerlendirme yaklaşımları kullanabilir.

Ancak kavramsal olarak bir IR sistemi şu problemlerin bir kısmını veya tamamını çözmek zorundadır:

Aranacak bilgi koleksiyonunu temsil etmek.
İçeriği verimli biçimde aranabilir hale getirmek.
Kullanıcı query’sini işlemek.
Query ile ilgili olabilecek içerikleri bulmak.
Query-document ilişkisini skorlamak.
Sonuçları relevance tahminine göre sıralamak.
Sistemin sonuç kalitesini değerlendirmek.

Stanford’un Introduction to Information Retrieval kitabının kapsamı da alanın yalnızca dar anlamıyla bir “retrieval aşaması” olmadığını gösterir. Boolean retrieval, inverted indexes, index construction, scoring, evaluation, probabilistic retrieval, web search, crawling ve link analysis aynı disiplin içinde ele alınır.^[4]

Bu nedenle Information Retrieval ile çok aşamalı bir search architecture içindeki daha dar anlamlı retrieval stage aynı ölçekli kavramlar değildir.

Retrieval’ın genel arama sistemi içinde hangi noktada yer aldığını görmek için arama motorlarının nasıl çalıştığını anlattığım temel Search Systems yazısına göz atabilirsiniz.

Information Retrieval neden index kullanır?

Büyük bir document collection içindeki bütün belgeleri her query geldiğinde baştan sona okumak pratik değildir.

Bu nedenle IR sistemleri belgeler üzerinde hızlı arama yapılmasını sağlayacak veri yapıları oluşturur.

Klasik text retrieval sistemlerinin en temel yapılarından biri inverted indextir.

Basit fikir şudur:

Her query geldiğinde bütün belgeleri tek tek taramak yerine sistem, belirli bir terimin hangi belgelerde bulunduğunu önceden organize eder.

civata → Doküman 3, Doküman 8, Doküman 14
m8     → Doküman 3, Doküman 6, Doküman 14
ölçü   → Doküman 3, Doküman 9, Doküman 14

Böyle bir yapı query processing sırasında bütün collection’ı yeniden okumak yerine ilgili postings list’leri üzerinden aday belgelerin çok daha verimli biçimde bulunmasına yardımcı olur.

Stanford’un IR kitabı da Boolean retrieval’ın temelini dictionary ve postings list’lerden oluşan inverted index üzerinden kurar.^[5]

Inverted index’in nasıl oluşturulduğu ve neden search sistemlerinin temel veri yapılarından biri olduğu bu serinin bir sonraki ayrı konusudur.

Boolean retrieval ile ranked retrieval arasındaki fark nedir?

Information Retrieval sistemleri her zaman bugünkü web arama motorları gibi çalışmak zorunda değildir.

En temel modellerden biri Boolean retrievaldır.

Örneğin:

m8 AND civata

şeklindeki bir query’de sistem temel olarak hangi belgelerin koşulu karşılayıp karşılamadığına bakabilir.

Eşleşiyor.
Eşleşmiyor.

Temel Boolean model, matching document set’ini bulabilir fakat belgeler arasında göreli relevance sırası üretmek için ayrıca scoring yaklaşımına ihtiyaç vardır.^[5]

Ranked retrieval yaklaşımında ise belgeler yalnızca eşleşiyor veya eşleşmiyor şeklinde ayrılmak yerine query ile ilişkilerine göre skorlanabilir.

Basitleştirilmiş örnek:

Doküman A → 0.91
Doküman B → 0.78
Doküman C → 0.52

Sonuçlar daha sonra bu relevance tahminlerine göre sıralanabilir.

TF-IDF, vector-space scoring, probabilistic retrieval ve daha modern yöntemler bu scoring ve retrieval problemlerine farklı yaklaşımlar sunar. Ancak bunların matematiğini bu giriş yazısına doldurmak yerine ayrı owner içeriklerde ele almak daha doğrudur.

Bir Information Retrieval sisteminin iyi olduğunu nasıl ölçeriz?

Bir sistemin sonuç üretmesi tek başına yeterli değildir. Getirdiği sonuçların kullanıcının information need’ini ne kadar iyi karşıladığını değerlendirmek gerekir.

Information Retrieval değerlendirmesinin en temel iki kavramı precision ve recalldır.

Precision nedir?

Precision, sistemin getirdiği sonuçların ne kadarının relevant olduğunu ölçer.

Örneğin sistem 5 belge getirmiş ve bunların 4’ü relevant ise:

Precision = 4 / 5 = %80

Getirdiğim sonuçların ne kadarı gerçekten relevant?

Recall nedir?

Recall, koleksiyondaki relevant belgelerin ne kadarının sistem tarafından bulunabildiğini ölçer.

Toplam 10 relevant belge olduğunu ve sistemin bunlardan 4’ünü getirdiğini düşünelim:

Recall = 4 / 10 = %40

Bulmam gereken relevant sonuçların ne kadarını bulabildim?

Bu örnekte koleksiyondaki relevant belgelerin toplam sayısını bildiğimizi varsayıyoruz. Gerçek dünyadaki büyük koleksiyonlarda bütün relevant belgeleri eksiksiz belirlemek çoğu zaman mümkün değildir.

Bu nedenle IR sistemleri genellikle önceden belirlenmiş information need’ler ve relevance judgments içeren test koleksiyonları veya benchmark’lar üzerinden değerlendirilir.^[3]

Precision ve recall neden birlikte düşünülür?

Bu iki metriğin önemi kullanım senaryosuna göre değişebilir.

Web search kullanan sıradan bir kullanıcı çoğu zaman bütün relevant belgeleri görmek istemez. İlk birkaç sonucun ihtiyacını karşılamasını ister. Bu durumda ilk sonuçlardaki precision özellikle önemlidir.

Buna karşılık hukuki belge taraması, sistematik araştırma veya kapsamlı arşiv araması gibi bazı senaryolarda relevant belgelerin mümkün olduğunca azını kaçırmak gerekir. Bu durumda recall daha önemli hale gelebilir.

Precision ve recall arasındaki ilişki, birinin her zaman diğerinin pahasına artacağı anlamına gelmez. Aynı sistem daha fazla belge getirdikçe recall düşmez; precision ise eklenen sonuçların ne kadarının relevant olduğuna bağlı olarak değişebilir. Daha iyi bir retrieval modeli bazı durumlarda iki metriği birlikte iyileştirebilir.^[6]

Precision sonuçların sırasını gösterir mi?

Tek başına precision, relevant sonuçların hangi sırada gösterildiğini açıklamaz.

Örneğin iki sistem de ilk beş sonuç içinde dört relevant belge sunabilir:

Sistem A
1. Relevant
2. Relevant
3. Relevant
4. Relevant
5. Irrelevant

Sistem B
1. Irrelevant
2. Relevant
3. Relevant
4. Relevant
5. Relevant

Her iki sistem için Precision@5 değeri aynıdır:

Precision@5 = 4 / 5 = %80

Ancak ilk sonuca baktığımızda fark görünür hale gelir:

Sistem A → Precision@1 = 1 / 1 = %100
Sistem B → Precision@1 = 0 / 1 = %0

İlk üç sonuçta da fark devam eder:

Sistem A → Precision@3 = 3 / 3 = %100
Sistem B → Precision@3 = 2 / 3 ≈ %67

Precision@k, ilk k sonucun ne kadarının relevant olduğunu gösterir; fakat aynı k sonuç kümesi içindeki bütün sıralama farklarını tek başına açıklamaz.

Sonuçların konumunu ve relevance derecelerini daha kapsamlı değerlendirmek için Average Precision, MAP veya NDCG gibi başka ölçüler kullanılabilir.^[9]

Bu yazının amacı bütün IR evaluation metriklerini öğretmek olmadığı için burada bu ayrımı bilmek yeterlidir.

Information Retrieval ile database query aynı şey midir?

Hayır. Information Retrieval ile klasik database retrieval benzer biçimde bilgiye erişmeye çalışsa da geleneksel problem tanımları farklıdır.

Kriter	Database Retrieval	Information Retrieval
Veri yapısı	Genellikle açık biçimde structured	Çoğunlukla unstructured veya semi-structured
Query	Kesin koşullar içerebilir	Belirsiz, kısa veya doğal dil biçiminde olabilir
Matching	Exact condition ağırlıklı olabilir	Relevance tahmini önemli rol oynayabilir
Sonuç	Koşulu karşılar / karşılamaz	Farklı relevance seviyeleri olabilir
Ranking	Her zaman gerekli değildir	Birçok uygulamada temel problemlerden biridir

Örneğin bir database query şu kadar kesin olabilir:

price = 100
stock = true

Fakat bir kullanıcının:

iyi koşu ayakkabısı

şeklindeki query’sinde “iyi” kelimesinin tek bir kesin database değeri yoktur.

Sistem hangi sonuçların kullanıcının ihtiyacı açısından daha relevant olabileceğini tahmin etmek zorundadır.

Bu karşılaştırma iki yaklaşımın geleneksel problem tanımlarını ayırır; modern sistemlerin bunları birlikte kullanamayacağı anlamına gelmez.

Örneğin bir e-ticaret araması önce numara, stok veya fiyat gibi yapılandırılmış filtreleri uygulayabilir; ardından kalan ürünleri kullanıcının doğal dil query’siyle ilişkilerine göre sıralayabilir.

Stanford’un XML retrieval bölümü Information Retrieval ile relational database search arasındaki farkları ve structured information retrieval problemlerinin kesişim alanlarını ele alır.^[7]

Information Retrieval yalnız web sayfalarıyla mı ilgilenir?

Hayır.

Klasik Information Retrieval literatürü büyük ölçüde text documents üzerinden gelişmiş olsa da alanın kapsadığı “information” kavramı zaman içinde genişlemiştir.

Google Research bugün information retrieval çalışmalarını web belgelerinin ötesinde görseller, videolar, mobil search deneyimleri, doğrudan bilgi sunumu ve kullanıcıların görev tamamlamasına yardımcı olan sistemler bağlamında da ele alır.^[2]

Modern search dünyasında retrieval problemi farklı ortamlarda karşımıza çıkar:

web search,
e-ticaret araması,
site içi arama,
doküman arama sistemleri,
görsel ve video arama,
enterprise search,
AI Search ve retrieval-augmented sistemler.

Kullanılan modeller ve veri yapıları değişebilir fakat temel soru benzer kalır:

Kullanıcının ihtiyacına uygun bilgiyi büyük bir aday alanından nasıl bulacağız?

Information Retrieval modern AI Search ile nasıl bağlantılı?

Embeddings, dense retrieval, vector search ve generative AI ortaya çıktığında Information Retrieval ortadan kalkmadı.

Tam tersine birçok modern sistem hâlâ şu temel problemle uğraşır:

Kullanıcının query’si veya information need’i için hangi dış bilgi kaynakları relevant?

Klasik lexical retrieval terimler ve istatistiksel ilişkiler üzerinden çalışabilir. Dense retrieval öğrenilmiş vector representations kullanabilir. Hybrid search birden fazla retrieval yaklaşımını bir araya getirebilir.

Retrieval-Augmented Generation (RAG) yaklaşımında sistem, bir soruya cevap üretirken dış bir bilgi koleksiyonundan ilgili olabilecek içerikleri retrieve edebilir. Bu dış koleksiyon veya indeks model parametrelerinin dışında erişilebilen bir bilgi kaynağıdır. Retrieve edilen pasajlar ise üretici modelin cevap oluşturma sürecinde ek bağlam olarak kullanılabilir.^[8]

Retrieval ile generation aynı işlem değildir. Retrieval ilgili bilgiyi bulma problemine, generation ise mevcut bağlamdan çıktı üretme problemine odaklanır.

Lewis ve arkadaşlarının orijinal RAG çalışmasında pre-trained seq2seq model parametric memory’yi, Wikipedia’dan oluşturulmuş dense vector index ise non-parametric memory’yi temsil eder. Neural retriever bu indeksten pasajlar getirir ve bu pasajlar generation sürecini koşullandırır.^[8]

Bu nedenle Information Retrieval, klasik web search kadar AI Search ve RAG sistemlerini anlamak için de temel bir altyapıdır.

Information Retrieval SEO açısından neden önemli?

SEO’yu yalnız keyword kullanımı veya ranking factor listeleri üzerinden öğrenmek search sisteminin temel problemini kaçırabilir.

Information Retrieval perspektifinden bir SEO sayfasına şu sorular sorulabilir:

Kullanıcının gerçek information need’i nedir?
Query bu ihtiyacı ne kadar açık ifade ediyor?
Sayfa hangi information need’i karşılıyor?
Query ile sayfa arasında yalnız term match mi var, yoksa gerçek relevance da var mı?
Aynı bilgi ihtiyacını karşılamaya çalışan birden fazla URL var mı?
İçerikte relevant bilgi kolayca bulunabilir bir yapıda mı?
Sayfanın görevi SERP’teki kullanıcı ihtiyacıyla uyuşuyor mu?

Hırdavat e-ticareti üzerinde çalışırken aynı ürün sorgusunun farklı sayfa türlerine işaret edebildiğini sıkça görüyorum. “M8 civata” ifadesi bir kullanıcı için satın alma niyetini, başka bir kullanıcı için teknik ölçü ihtiyacını temsil edebilir. Bu nedenle kategori, ürün ve teknik rehber sayfalarının görevi yalnız ortak kelimelere bakılarak belirlenmemelidir.

Bir kullanıcı satın almak istiyorsa kategori veya ürün sayfası relevant olabilir. Standart ölçüleri öğrenmek istiyorsa teknik bir rehber daha relevant olabilir.

SEO’da hangi URL’nin hangi query’yi hedeflediğini belirlemeden önce, hangi URL’nin hangi information need’i karşılaması gerektiğini anlamak gerekir.

Bu ilişki ileride Search Intent ve Query Ownership yazılarının temelini oluşturacaktır.

Bu bakış açısı yalnızca relevance değerlendirmesinde değil, hangi sorgu ve kullanıcı ihtiyaçlarının hangi sayfalara ait olduğunu belirlerken de önemlidir. Bu ilişkiyi site mimarisi, sayfa rolleri ve query ownership bağlamında nasıl uyguladığımı SEO stratejisi nasıl kurulur? yazısında daha detaylı ele alıyorum.

Information Retrieval hakkında bilinmesi gereken temel ayrımlar

Karıştırılan kavramlar	Temel fark
Information Need ≠ Query	Information need kullanıcının gerçek ihtiyacıdır; query bunun sisteme ifade edilmiş halidir.
Term Match ≠ Relevance	Kelime eşleşmesi, içeriğin kullanıcı ihtiyacını karşıladığını garanti etmez.
Information Retrieval ≠ Retrieval Stage	IR geniş bir akademik ve teknik alandır; retrieval bir sistem aşaması olabilir.
Precision ≠ Recall	Precision getirilen sonuçların isabetini, recall relevant sonuçların ne kadarının bulunduğunu ölçer.
Relevance ≠ User Satisfaction	Relevant sonuç kullanıcının görevi tamamladığını veya deneyimden memnun kaldığını garanti etmez.
Database Query ≠ Information Retrieval	Database retrieval çoğunlukla kesin yapılandırılmış koşullarla, IR ise relevance tahminiyle ilgilenir; modern sistemler iki yaklaşımı birlikte kullanabilir.

Buradan sonra ne öğrenmek gerekir?

Information Retrieval’ın temel problemini anladıktan sonra sıradaki soru şudur:

Büyük document collection içinde query’leri hızlı biçimde çalıştırmak için içerik nasıl organize edilir?

Klasik text retrieval sistemlerinin bu probleme verdiği temel cevaplardan biri inverted indextir.

Bir sonraki Search Systems yazısında inverted index’in nasıl çalıştığını, dictionary ve postings list yapısını ve neden search sistemlerinin temel veri yapılarından biri olduğunu inceleyeceğiz.

Search Systems alanındaki diğer içerikleri Search Systems bölümünde takip edebilirsiniz.

Information Retrieval Nedir? Arama Sistemleri Bilgiyi Nasıl Bulur?