Crawlability ve Indexability Nedir? Aralarındaki Fark Nedir?

Crawlability, bir crawler’ın URL’ye erişip içeriğini getirebilme durumunu; indexability ise sayfanın arama indeksine dahil edilmeye teknik olarak uygun olup olmadığını ifade eder. Ancak bir sayfanın crawlable ve indexable olması, Google tarafından gerçekten indeksleneceği anlamına gelmez.

Technical SEO’da en sık karıştırılan zincirlerden biri budur:

DISCOVERED ≠ CRAWLED CRAWLABLE ≠ INDEXABLE INDEXABLE ≠ INDEXED INDEXED ≠ RANKING

Örneğin bir URL:

• Google tarafından keşfedilmiş olabilir fakat henüz crawl edilmemiş olabilir,
• crawl edilmiş olabilir fakat noindex taşıdığı için indekslenmeye uygun olmayabilir,
• crawl edilmiş ve teknik olarak indexable olabilir fakat Google yine de URL’yi indekslememiş olabilir,
• indekste bulunabilir fakat hedef sorgularınızda görünürlük kazanmayabilir.

Dolayısıyla “Sayfa Google’da yok” gözlemi tek başına teşhis değildir.

Önce search pipeline’ın hangi katmanında problem bulunduğunu anlamak gerekir.

DISCOVERY ↓ CRAWLING ↓ RENDERING / PROCESSING ↓ INDEXABILITY ↓ INDEXING ↓ RETRIEVAL ↓ RANKING

Bu zincirin genel çalışma mantığını arama motorlarının crawling, indexing, retrieval ve ranking süreci yazısında daha geniş şekilde ele alıyorum. Buradaki amaç ise özellikle crawlability ve indexability ayrımını teknik teşhis seviyesinde derinleştirmektir.

Crawlability nedir?

Crawlability, bir arama motoru crawler’ının URL’ye erişip sunucudan içeriğini getirebilme durumudur.

Basitleştirilmiş olarak:

Google URL'yi biliyor ↓ Googlebot request gönderiyor ↓ Server response dönüyor ↓ Googlebot içeriğe erişebiliyor

Bir sayfanın crawl edilebilmesini etkileyebilecek faktörler arasında şunlar bulunur:

• robots.txt kuralları,
• HTTP response code,
• sunucu erişilebilirliği,
• authentication veya login zorunluluğu,
• rate limiting,
• DNS ve network problemleri,
• crawler’ın URL’yi gerçekten keşfetmiş olması.

Google Search minimum teknik gereksinimlerinde Googlebot’un engellenmemesini ve sayfanın çalışır durumda olmasını temel koşullar arasında sayıyor.^[1]

Ancak burada kritik bir ayrım vardır:

URL EXISTS ≠ URL DISCOVERED ≠ URL CRAWLED

Sunucuda çalışan bir URL’nin bulunması, Google’ın o URL’nin varlığından haberdar olduğu anlamına gelmez.

Discovery ile crawling aynı şey mi?

Hayır. Discovery, arama motorunun URL’nin varlığından haberdar olmasıdır. Crawling ise crawler’ın keşfedilen URL’ye HTTP isteği gönderip içeriği getirmesidir.

Google yeni URL’leri çeşitli yollarla keşfedebilir:

• internal linkler,
• external linkler,
• XML sitemap,
• daha önce bilinen URL’lerin yeniden işlenmesi.

Örneğin sitemap içinde:

https://example.com/yeni-sayfa/

bulunması Google’ın URL’den haberdar olmasına yardımcı olabilir.

Ama bu:

“Google sayfayı crawl etti.”

anlamına gelmez.

Search Console’daki:

Discovered - currently not indexed

durumu tam olarak bu ayrımı görünür hale getirir: Google URL’yi biliyor olabilir fakat henüz crawl etmemiştir.^[5]

Indexability nedir?

Indexability, bir sayfanın teknik ve içerik koşulları açısından arama indeksine dahil edilmeye uygun olup olmadığını ifade eden SEO kavramıdır.

Burada “indexable” olmak:

“Google bu URL’yi kesinlikle indeksleyecek.”

anlamına gelmez.

Daha doğru anlam:

“Sayfada indekslemeyi açıkça engelleyen bir durum bulunmuyor ve URL temel teknik gereksinimleri karşılıyor.”

Google minimum teknik gereksinimleri üç ana başlıkla açıklar:^[1]

• Googlebot engellenmemeli,
• sayfa HTTP 200 response vermeli,
• sayfada Google’ın indeksleyebileceği içerik bulunmalı.

Google aynı dokümantasyonda bu koşulların sağlanmasının indexing garantisi olmadığını özellikle belirtir.^[1]

TECHNICAL REQUIREMENTS MET ↓ ELIGIBLE FOR INDEXING ≠ GUARANTEED INDEXING

Crawlable olmak neden indexable olmak değildir?

Çünkü crawling crawler’ın sayfaya erişmesiyle, indexability ise erişilen sayfanın arama indeksine dahil edilmeye uygun olup olmadığıyla ilgilidir.

Örneğin:

GET /test-page/ HTTP/1.1 200 OK

Googlebot sayfayı crawl edebilir.

Ancak HTML içinde:

<meta name="robots" content="noindex">

bulunuyorsa sayfa crawlable fakat indexlenmemesi yönünde direktif taşıyan bir URL’dir.

Google’ın robots meta tag dokümantasyonuna göre noindex, sayfanın Google Search sonuçlarında gösterilmemesi talimatını verir.^[2]

Durum	Crawlable?	Indexable?
200 + index	Evet	Genellikle evet
200 + noindex	Evet	Hayır
robots.txt disallow	Hayır	İçerik crawl edilemez
404	Crawl isteği yapılabilir	Hayır
301 redirect	Crawler response’u görebilir	Kaynak URL bağımsız içerik olarak index adayı değildir

Indexable olmak indexed olmak mıdır?

Hayır. Indexable olmak yalnızca URL’nin indekslenmesini teknik olarak engelleyen açık bir mekanizma bulunmadığını gösterir. Indexed olmak ise Google’ın URL’yi gerçekten arama indeksine dahil etmiş olmasıdır.

Bu ayrım technical SEO teşhisinde en değerlilerinden biridir:

INDEXABLE ↓ Google indeksleyebilir INDEXED ↓ Google gerçekten indeksledi

Örneğin bir sayfa:

• HTTP 200 döndürebilir,
• robots.txt ile açık olabilir,
• noindex taşımayabilir,
• self-referencing canonical kullanabilir,
• XML sitemap içinde bulunabilir

ve buna rağmen Search Console:

Crawled - currently not indexed

gösterebilir.

Bu durumda “indexability problemi var” sonucuna otomatik olarak varmak yanlış olur.

Google sayfaya erişmiş ve crawl etmiş olabilir; fakat URL’yi şu anda indeksine dahil etmemiştir.

Crawled – currently not indexed ne demek?

“Crawled – currently not indexed”, Google’ın URL’yi crawl ettiği fakat mevcut durumda indekslemediği anlamına gelir.

Burada kritik nokta şudur:

CRAWLED ✓ INDEXED ✗

Dolayısıyla temel problem:

“Googlebot bu URL’ye ulaşamıyor.”

değildir.

Google ulaşmıştır.

Bu nedenle ilk refleks olarak:

• robots.txt açmak,
• yeniden sitemap göndermek,
• on kez Request Indexing butonuna basmak

temel problemi çözmeyebilir.

İncelenmesi gereken alanlar daha çok şunlardır:

• sayfanın gerçekten ayrı bir page role taşıyıp taşımadığı,
• duplicate veya çok benzer sayfalar,
• canonicalization,
• thin veya düşük değerli programatik URL’ler,
• site içindeki ownership çakışmaları,
• internal linking,
• içeriğin Google açısından ayrı indeks kaydı gerektirip gerektirmediği.

Ancak bu statü tek bir evrensel neden göstermez.

“Crawled – currently not indexed = thin content” gibi sabit eşitlik kurmak da doğru değildir.

Discovered – currently not indexed ne demek?

Bu durum Google’ın URL’yi keşfettiğini fakat henüz crawl etmediğini ifade eder.

DISCOVERED ✓ CRAWLED ✗ INDEXED ✗

Burada sayfanın içeriği henüz crawl edilmemişse problem doğrudan sayfa metnindeki birkaç paragrafla açıklanamaz.

Öncelikle:

• URL nasıl keşfediliyor?
• internal link alıyor mu?
• sitemap içinde mi?
• site gereksiz URL alanı mı üretiyor?
• crawler’ın zamanını tüketen filtre veya parametre yapıları var mı?
• server Googlebot isteklerini sağlıklı karşılayabiliyor mu?

soruları daha anlamlı hale gelir.

Özellikle büyük e-ticaret sitelerinde kontrolsüz facet kombinasyonları çok büyük crawl alanı üretebilir. Bu problemi faceted navigation ve crawl alanı yönetimi yazısında daha detaylı ele alıyorum.

robots.txt crawlability’yi mi indexability’yi mi kontrol eder?

robots.txt temel olarak crawler’ın URL’yi crawl edip etmemesini yönetir. Bir web sayfasını Google Search sonuçlarından güvenilir biçimde kaldırmak için kullanılmamalıdır.

Örneğin:

User-agent: Googlebot Disallow: /test/

Googlebot’un:

/test/

altındaki URL’leri crawl etmesini engelleyebilir.

Ancak Google açıkça robots.txt dosyasının web sayfalarını Search sonuçlarından gizlemek için kullanılmaması gerektiğini belirtiyor.^[3]

Çünkü Google başka sayfalardaki bağlantılar üzerinden blocked URL’yi keşfedebilir ve içeriğini crawl etmeden URL’yi sınırlı bilgilerle Search sonuçlarında gösterebilir.^[3]

Bu teknik nüans şu ayrımı doğurur:

robots.txt → CRAWLING CONTROL noindex → INDEXING / SERVING DIRECTIVE

robots.txt ile noindex birlikte kullanılmalı mı?

Bir URL’nin noindex direktifinin Google tarafından görülmesini istiyorsanız crawler’ın sayfaya erişebilmesi gerekir.

Google robots meta tag kurallarının yalnız crawler’ın ilgili sayfaya erişmesine izin verildiğinde okunup uygulanabileceğini açıkça belirtir.^[2]

Şu yapı bu nedenle çelişkili olabilir:

robots.txt: Disallow: /private-page/ HTML: <meta name="robots" content="noindex">

Bir tarafta:

“Bu sayfayı crawl etme.”

diğer tarafta sayfanın içinde:

“Beni indexleme.”

diyorsunuz.

Crawler sayfaya erişemiyorsa içindeki noindex direktifini okuyamaz.

Google bu nedenle bir URL’nin Search sonuçlarından çıkarılması için noindex kullanılıyorsa URL’nin crawl edilebilir bırakılmasını önerir.^[1]

Noindex crawl etmeyi durdurur mu?

Hayır. noindex crawling’i engellemez; URL’nin Search sonuçlarında indekslenmemesi yönünde direktif verir.

Googlebot:

GET /noindex-page/

isteğini yapabilir.

Sayfayı crawl eder.

Ardından:

<meta name="robots" content="noindex">

direktifini okuyabilir.

Bu nedenle:

NOINDEX ≠ NO CRAWL

HTTP 200 almak indexlenmek için yeterli mi?

Hayır. HTTP 200 OK, sayfanın başarılı bir response verdiğini gösterir; indexing garantisi değildir.

Google minimum teknik gereksinimlerinde indekslenebilir sayfaların 200 response vermesini ister fakat aynı dokümantasyonda bu gereksinimleri karşılayan sayfaların bile indekslenmesinin garanti olmadığını söyler.^[1]

HTTP 200 ↓ PAGE WORKS ≠ PAGE INDEXED

Örneğin:

HTTP 200 + noindex

sayfa çalışıyor fakat indexlenmemesi yönünde açık direktif taşıyor.

Başka bir senaryo:

HTTP 200 + index + duplicate content

Google başka URL’yi canonical representative olarak seçebilir.

Canonical indexability’yi nasıl etkiler?

Canonical etiketi noindex değildir. Duplicate veya çok benzer URL’ler arasında tercih edilen temsilci URL hakkında sinyal verir.

Örneğin:

/urun/?ref=email canonical → /urun/

ilk URL teknik olarak erişilebilir ve crawlable olabilir.

Ancak Google duplicate kümesi içinde:

/urun/

adresini canonical representative olarak seçerse parametreli URL bağımsız bir indeks kaydı olarak tutulmayabilir.

Bu nedenle Search Console’da:

Alternate page with proper canonical tag

gibi bir durum her zaman problem değildir.

Search Console yardım dokümanı duplicate URL’lerin genellikle ayrı olarak Search sonuçlarında gösterilmediğini ve doğru canonical ilişkisi mevcutsa bunun beklenen davranış olabileceğini açıklar.^[6]

Canonicalization’ın kendisini canonical ve Google-selected canonical rehberinde daha ayrıntılı ele alıyorum.

Indexability yalnız noindex kontrolü müdür?

Hayır. Indexability audit’i yalnız robots meta tag kontrolünden ibaret değildir.

Bir URL için en az şu katmanları incelemek gerekir:

• HTTP response code,
• robots.txt erişimi,
• robots meta / X-Robots-Tag,
• canonical durumu,
• redirect davranışı,
• içeriğin render edilebilmesi,
• Google tarafından desteklenen içerik formatı,
• URL’nin duplicate veya alternate rolü.

Örneğin PDF dosyasında HTML meta robots bulunamayabilir.

Bu durumda:

X-Robots-Tag: noindex

HTTP response header kullanılabilir. Google, HTML olmayan kaynaklarda da indexing directives uygulanabilmesi için X-Robots-Tag kullanımını destekler.^[2]

Rendering crawlability ve indexability’nin neresinde?

Bir URL’nin crawl edilmesi, JavaScript ile oluşturulan bütün içeriğin başarıyla render edildiği anlamına gelmez.

Basitleştirilmiş JavaScript pipeline:

URL DISCOVERY ↓ CRAWL ↓ INITIAL HTML ↓ RENDERING ↓ RENDERED CONTENT ↓ INDEXING

Google bir sayfanın ilk HTML’ini başarıyla crawl edebilir fakat kritik içerik JavaScript hatası nedeniyle render edilemiyorsa crawler’ın eriştiği document ile kullanıcının gördüğü sayfa farklılaşabilir.

Bu nedenle:

CRAWLED ≠ FULL CONTENT SUCCESSFULLY RENDERED

JavaScript ağırlıklı sistemlerde indexability değerlendirmesi yalnız response code ve meta robots kontrolüyle bitmemelidir.

XML sitemap sayfayı indexable yapar mı?

Hayır. XML sitemap URL discovery’yi destekler; URL’nin crawl veya indexing garantisini vermez.

Sitemap:

"Bu URL'ler sitemde önemli ve bilinmesini istiyorum."

yönünde sinyal ve discovery kaynağı sağlar.

Fakat sitemap içinde:

/category-a/

bulunması URL’nin:

• crawl edildiğini,
• indexable olduğunu,
• indekslendiğini,
• ranking aldığını

kanıtlamaz.

Özellikle sitemap içinde noindex, redirect veya non-canonical URL’ler bulunuyorsa site kendi URL tercihleri konusunda çelişkili sinyaller üretir.

Internal linking crawlability’yi nasıl etkiler?

Internal linking, crawler’ın URL’leri keşfetmesi ve site içindeki ilişkileri izlemesi için temel discovery yollarından biridir.

Örneğin:

HOME ↓ CATEGORY ↓ SUBCATEGORY ↓ PRODUCT

gibi gerçek bağlantı yolları URL’lerin discovery ve crawling sürecini destekler.

Buna karşılık URL yalnız XML sitemap içinde bulunuyor fakat sitenin hiçbir yerinden link almıyorsa:

SITEMAP ↓ ORPHAN URL

durumu oluşabilir.

Bu URL teknik olarak crawlable olabilir.

Fakat sitenin internal architecture’ında zayıf veya hiç görünmeyen bir konumda bulunur.

Bu nedenle crawlability yalnız:

“robots.txt açık mı?”

sorusuna indirgenmemelidir.

URL discovery ve crawl paths açısından site mimarisi ve internal linking ilişkisi de önemlidir.

E-ticaret sitelerinde crawlability ve indexability neden ayrılmalı?

E-ticaret sitelerinde crawler’ın erişmesini istediğiniz URL kümesi ile Search indeksinde bağımsız owner olarak bulunmasını istediğiniz URL kümesi çoğu zaman aynı değildir.

Örneğin bir kategori sistemi:

/matkaplar/ /matkaplar/?brand=bosch /matkaplar/?brand=makita /matkaplar/?sort=price /matkaplar/?view=grid /matkaplar/?stock=true

URL’leri üretebilir.

Bunların hepsi kullanıcı deneyiminde işlevsel olabilir.

Fakat hepsinin:

• ayrı indexable page,
• ayrı Search owner,
• XML sitemap URL’si

olması gerekmez.

Bu yüzden büyük kataloglarda şu iki seti ayrı düşünmek gerekir:

CRAWLABLE URL SET ≠ INDEXABLE OWNER SET

E-ticaret sisteminde bu ayrımın kategori, ürün, filtre ve Merchant Center katmanlarıyla ilişkisini e-ticaret SEO sistem rehberinde daha geniş ele alıyorum.

Search Console’da hangi durum ne anlatır?

Search Console Page Indexing raporundaki her “Not indexed” durumu hata anlamına gelmez. Önce statünün URL’nin hangi rolüyle ilişkili olduğunu anlamak gerekir.

Durum	Ne biliyoruz?	İlk bakılacak alan
Discovered – currently not indexed	Google URL’yi biliyor, henüz crawl edilmemiş	Discovery, crawl demand, architecture
Crawled – currently not indexed	URL crawl edilmiş, şu anda indekslenmemiş	Page role, content, duplication, canonicalization
Blocked by robots.txt	Googlebot crawl erişimi engelleniyor	Crawlability
Excluded by noindex	Sayfa noindex direktifi taşıyor	Indexability tercihi
Alternate page with proper canonical	Başka URL canonical representative	Beklenen canonical ilişkisi mi?
Page with redirect	URL başka URL’ye yönlendiriyor	Redirect beklenen davranış mı?
Not found (404)	Kaynak mevcut değil	URL gerçekten kaldırıldı mı?

Bu tablo önemli bir şeyi gösterir:

NOT INDEXED ≠ SEO ERROR

Örneğin doğru canonical’a sahip alternate URL’nin ayrı indekslenmemesi sistemin beklenen davranışı olabilir.

URL Inspection’daki “URL is available to Google” ne anlama gelir?

Live Test’in URL’yi erişilebilir ve teknik olarak uygun bulması, URL’nin Google indeksinde olduğu anlamına gelmez.

Burada iki farklı veri vardır:

LIVE TEST → Google şu anda URL'ye erişebiliyor mu? GOOGLE INDEX DATA → URL mevcut Google indeksinde ne durumda?

Bir URL:

Live Test: URL is available to Google

sonucu alabilir.

Aynı anda:

Page Indexing: Crawled - currently not indexed

durumunda olabilir.

Bu çelişki değildir.

Birincisi erişilebilirlik testi, ikincisi Google’ın mevcut index state bilgisidir.

Bir sayfa neden crawlable ve indexable olduğu halde indekslenmez?

Çünkü indexing teknik eligibility’den sonra Google sistemlerinin verdiği ayrı bir karardır.

Google minimum gereksinimleri karşılamanın indexing garantisi olmadığını açıkça belirtir.^[1]

Dolayısıyla şu model yanlıştır:

200 + index + sitemap = Google mutlaka indexlemeli

Daha doğru model:

DISCOVERY ↓ ACCESSIBLE ↓ 200 ↓ INDEXING ALLOWED ↓ PROCESSING ↓ CANONICAL / CONTENT EVALUATION ↓ INDEX DECISION

Teknik SEO tarafında bizim kontrol edebildiğimiz görev, URL’nin önündeki gereksiz teknik engelleri kaldırmak ve sayfanın gerçekten bağımsız bir page role taşımasını sağlamaktır.

Google’ın her eligible URL’yi indekslemek zorunda olduğu varsayımı yanlış başlangıç noktasıdır.

“Request Indexing” indexing problemi çözer mi?

Request Indexing bir URL’nin yeniden crawl edilmesini veya değerlendirilmesini talep etmeye yarayabilir; zayıf page role, duplicate yapı veya sitewide URL problemi için kalıcı çözüm değildir.

Şu döngü özellikle verimsizdir:

URL indexlenmedi ↓ Request Indexing ↓ URL indexlenmedi ↓ Request Indexing ↓ URL indexlenmedi ↓ tekrar butona bas

Bir noktada butonun duygularını incitmeden asıl problemi incelemek gerekir.

Özellikle onlarca veya binlerce URL aynı durumda ise teşhis URL bazında değil sistem seviyesinde yapılmalıdır.

Crawlability ve indexability audit’i nasıl yapılır?

Audit sırasında önce URL’nin hangi aşamada takıldığını belirleyin; ardından yalnız o katmanla ilgili kontrolleri derinleştirin.

1. URL gerçekten var mı?

HTTP response kontrol edin:

200 301 / 302 404 410 5xx

2. Googlebot URL’ye erişebilir mi?

Kontrol edin:

• robots.txt,
• authentication,
• firewall / WAF,
• rate limit,
• server error.

3. URL keşfedilebilir mi?

Kontrol edin:

• internal links,
• XML sitemap,
• orphan durumu,
• category / hub ilişkileri.

4. Indexing directive nedir?

HTML:

<meta name="robots" content="noindex">

ve HTTP header:

X-Robots-Tag: noindex

kontrol edilmelidir.

5. Canonical ne gösteriyor?

URL:

• self canonical mı?
• başka URL’ye mi canonical?
• Google farklı canonical mı seçmiş?

6. Render edilen içerik mevcut mu?

Özellikle JavaScript sitelerinde:

• ana içerik,
• internal links,
• robots directives,
• structured data

render sonrası doğru mu kontrol edilmelidir.

7. Search Console index state nedir?

URL Inspection ile:

• last crawl,
• crawl allowed,
• page fetch,
• indexing allowed,
• user-declared canonical,
• Google-selected canonical

birlikte incelenebilir.

8. URL gerçekten ayrı owner mı?

Teknik olarak her şey doğruysa artık şu soruya geçin:

Bu URL gerçekten sitede ayrı bir kullanıcı ihtiyacını ve ayrı bir sayfa rolünü temsil ediyor mu?

İki URL aynı içeriği, aynı ürün kümesini veya aynı query family’yi temsil ediyorsa problem teknik indexability olmayabilir.

Problem URL ownership olabilir.

Sitewide index problemi nasıl teşhis edilir?

Yüzlerce veya binlerce URL aynı index durumundaysa tek tek URL Inspection yapmak yerine pattern analizi yapılmalıdır.

URL’leri page type’a göre gruplayın:

PRODUCTS CATEGORIES FACETS BLOG PAGINATION TAG PAGES SEARCH RESULTS VARIANTS

Ardından her grup için:

• index oranı,
• crawl durumu,
• canonical pattern,
• noindex pattern,
• internal link depth,
• ürün veya içerik miktarı,
• Search Console statü dağılımı

incelenebilir.

Örneğin:

10.000 product URL → çoğu indexed 8.000 facet URL → Discovered / Crawled not indexed

gibi bir tablo yalnız “Google indexlemiyor” problemi değildir.

Asıl soru:

Bu 8.000 facet URL’nin zaten indexlenmesi gerekiyor muydu?

olmalıdır.

Yaygın crawlability ve indexability hataları

• Crawlable ile indexable kavramlarını aynı anlamda kullanmak.
• Indexable olan her sayfanın mutlaka indeksleneceğini düşünmek.
• HTTP 200 aldığı için URL’nin index problemi olmadığını varsaymak.
• robots.txt dosyasını noindex mekanizması olarak kullanmak.
• robots.txt ile engellenen sayfanın içine noindex koyup Google’ın bunu okuyacağını varsaymak.
• XML sitemap gönderimini indexing garantisi sanmak.
• Discovered – currently not indexed durumunda sayfa içeriğini Google henüz crawl etmemişken yalnız metin kalitesini suçlamak.
• Crawled – currently not indexed durumunda crawlability problemi aramak.
• Alternate page with proper canonical durumunu otomatik hata kabul etmek.
• Redirect URL’nin bağımsız indexlenmesini beklemek.
• Orphan URL’leri yalnız sitemap ile çözmeye çalışmak.
• JavaScript render problemini crawl başarısıyla karıştırmak.
• Request Indexing butonunu sistematik indexing stratejisi olarak kullanmak.
• Her “Not indexed” URL’yi Search indeksine sokmaya çalışmak.
• Page role ve ownership problemine teknik etiket problemi gibi yaklaşmak.

Crawlability ve indexability için teşhis modeli

Bir URL Search’te görünmüyorsa ilk soru “neden rank almıyor?” olmamalıdır. Problemi pipeline boyunca soldan sağa teşhis etmek daha sağlıklı bir yöntemdir.

URL VAR MI? ↓ DISCOVERABLE MI? ↓ CRAWL ALLOWED MI? ↓ HTTP 200 MÜ? ↓ CONTENT RENDER EDİLEBİLİYOR MU? ↓ INDEXING ALLOWED MI? ↓ CANONICAL OWNER BU URL Mİ? ↓ GOOGLE INDEXLEDİ Mİ? ↓ QUERY İÇİN RETRIEVED OLUYOR MU? ↓ RANKING KAZANIYOR MU?

Bu modele göre:

Katman	Soru
Discovery	Google URL’nin varlığını biliyor mu?
Crawlability	Googlebot URL’ye erişebiliyor mu?
Rendering	Google gerekli içeriği işleyebiliyor mu?
Indexability	URL’nin indekslenmesine teknik olarak izin veriliyor mu?
Canonicalization	Bu URL temsilci olarak mı seçiliyor?
Index status	URL gerçekten indekste mi?
Retrieval	İlgili sorgularda aday sonuç olabiliyor mu?
Ranking	Diğer adaylara karşı nerede sıralanıyor?

Bu ayrımın pratik sonucu şudur:

Bir URL’nin Search’te görünmemesi tek bir SEO problemi değildir. Önce URL’nin hangi sistem katmanında elendiğini veya beklediğini anlamak gerekir.

Crawlability yalnız crawler erişimini, indexability yalnız indexing eligibility’yi açıklar.

İkisinin başarılı olması ise zincirin devamındaki kararları garanti etmez.

CRAWLABLE + INDEXABLE ↓ INDEXING İÇİN GEREKLİ ZEMİN ≠ INDEXING GARANTİSİ

Crawlability ve Indexability Hakkında Sık Sorulan Sorular

Crawlability ile indexability arasındaki temel fark nedir?

Crawlability, Googlebot gibi crawler’ların bir URL’ye erişip içeriğini getirebilmesini ifade eder. Indexability ise sayfanın Google indeksine dahil edilmeye teknik olarak uygun olup olmadığını anlatır.

Bir sayfa crawlable olduğu halde noindex taşıdığı için indexable olmayabilir.

Bir sayfa crawlable ve indexable olduğu halde neden indekslenmez?

Crawlable ve indexable olmak yalnızca indexing için gerekli teknik zemini oluşturur. Google, minimum teknik gereksinimlerin karşılanmasının indexing garantisi olmadığını açıkça belirtir.

Google sayfayı crawl ettikten sonra içerik, canonicalization ve diğer indexing değerlendirmeleri sonucunda URL’yi indeksine dahil etmeyebilir.

robots.txt bir sayfanın indekslenmesini engeller mi?

robots.txt temel olarak crawling’i kontrol eder. Güvenilir bir noindex mekanizması değildir.

Googlebot’un URL’yi crawl etmesini engelleyebilirsiniz ancak URL başka bağlantılar üzerinden keşfedilmişse URL’nin varlığı Google tarafından yine bilinebilir.

Bir URL’nin Search sonuçlarında yer almamasını istiyorsanız crawling ve indexing kontrolünü aynı şey gibi düşünmemek gerekir.

noindex Googlebot’un sayfayı crawl etmesini engeller mi?

Hayır.

noindex, crawler’ın sayfaya gelmesini engellemez. Googlebot sayfayı crawl eder ve ardından robots meta tag veya X-Robots-Tag üzerinden verilen noindex direktifini okuyabilir.

Bu nedenle temel ayrım:

robots.txt → crawling

noindex → indexing

Google’ın güncel crawling dokümantasyonu da noindex kullanılan URL’lerin yine crawl isteği gerektirdiğini açıkça belirtiyor.

HTTP 200 alan bir sayfa mutlaka indexlenir mi?

Hayır.

HTTP 200 OK, sunucunun URL için başarılı bir response verdiğini gösterir. Bu, URL’nin teknik olarak erişilebilir olduğuna dair gerekli koşullardan biridir fakat indexing garantisi değildir.

Kısacası:

HTTP 200 ≠ Indexed

Discovered – currently not indexed ile Crawled – currently not indexed arasındaki fark nedir?

Discovered – currently not indexed: Google URL’nin varlığını biliyor fakat henüz crawl etmemiştir.

Crawled – currently not indexed: Google URL’yi crawl etmiş fakat mevcut durumda indekslememiştir.

Dolayısıyla ilk durumda sorun discovery veya crawling tarafına daha yakınken, ikinci durumda Google sayfaya zaten erişmiştir. Bu noktada aynı URL’yi tekrar tekrar crawl ettirmeye çalışmak yerine page role, duplicate yapı ve indexing değerlendirmesi incelenmelidir.

XML sitemap’e URL eklemek sayfanın indexlenmesini sağlar mı?

Hayır.

XML sitemap Google’ın URL’leri keşfetmesine yardımcı olabilir fakat crawling veya indexing garantisi vermez.

Sitemap içinde bulunan bir URL yine:

• crawl edilmemiş,
• noindex,
• non-canonical,
• redirect,
• veya Google tarafından indekslenmemiş

olabilir.

Canonical verilen bir URL indexable sayılır mı?

Canonical etiketi noindex değildir.

Bir URL crawl edilebilir ve indexing’e açık olabilir fakat Google duplicate kümesi içinde başka bir URL’yi canonical representative olarak seçebilir. Böyle bir durumda URL bağımsız bir indeks kaydı olarak tutulmayabilir.

Bu nedenle canonicalization ve Google-selected canonical konusu indexability’den ayrı değerlendirilmelidir.

Google neden benim belirttiğim canonical yerine başka URL seçebilir?

Çünkü user-declared canonical Google için mutlak emir değildir.

Google teknik sinyalleri ve sayfalar arasındaki içerik ilişkisini değerlendirerek farklı bir canonical seçebilir. Güncel troubleshooting dokümantasyonu da önce Google-selected canonical’ın kontrol edilmesini, ardından teknik sinyal ve içerik benzerliği problemlerinin incelenmesini öneriyor.

Request Indexing, Crawled – currently not indexed sorununu çözer mi?

Tek başına hayır.

Request Indexing URL’nin yeniden değerlendirilmesini isteyebilir ancak:

• duplicate yapı,
• yanlış page ownership,
• zayıf internal linking,
• canonical problemi,
• düşük değerli programatik URL üretimi

gibi sistemik problemleri çözmez.

Google da canonicalization problemlerinde Request Indexing’i ancak asıl problem düzeltildikten sonra yeniden değerlendirme istemek için konumlandırıyor.

Bir URL Search Console’da “Not indexed” görünüyorsa bu mutlaka SEO hatası mıdır?

Hayır.

Her URL’nin bağımsız olarak indekslenmesi gerekmez.

Örneğin:

• redirect URL,
• doğru canonical’a sahip alternate URL,
• bilinçli noindex sayfası,
• Search’te owner olması istenmeyen filtre URL’si

için “Not indexed” durumu tamamen beklenen sonuç olabilir.

Asıl soru:

Bu URL’nin indekslenmesi gerekiyor muydu?

Crawlability problemi nasıl hızlı kontrol edilir?

İlk olarak şunlara bakın:

• HTTP response doğru mu?
• robots.txt Googlebot’u engelliyor mu?
• Sayfa login arkasında mı?
• Firewall veya WAF crawler’ı engelliyor mu?
• Sunucu hatası var mı?
• URL internal link veya sitemap üzerinden keşfedilebilir mi?

Buradaki amaç önce Googlebot’un URL’ye gerçekten erişebilmesini doğrulamaktır.

Indexability problemi nasıl hızlı kontrol edilir?

Şunları birlikte kontrol edin:

• HTTP response,
• robots meta tag,
• X-Robots-Tag,
• canonical,
• redirect,
• render edilmiş HTML,
• Search Console index durumu,
• user-declared canonical,
• Google-selected canonical.

Yalnızca noindex var mı? kontrolü indexability audit’i değildir.

Crawlable olmak rank almak için yeterli midir?

Hayır.

Arada hâlâ birkaç ayrı sistem katmanı vardır:

Crawlable → Indexable → Indexed → Retrieved → Ranked

Bir URL’nin Googlebot tarafından erişilebilir olması yalnız zincirin erken bir koşulunu karşılar.

Indexable ile indexed arasındaki fark nedir?

Indexable, Google’ın sayfayı indekslemesine teknik olarak izin verildiğini ifade eder.

Indexed, Google’ın sayfayı gerçekten indeksine dahil etmiş olduğunu ifade eder.

Bu yüzden:

Indexable ≠ Indexed

Technical SEO’da en sık atlanan ayrımlardan biri tam olarak budur.

Kaynaklar ve teknik referanslar

1. Google Search Central — Google Search Technical Requirements
2. Google Search Central — Robots Meta Tag and X-Robots-Tag Specifications
3. Google Search Central — Introduction to robots.txt
4. Google Search Central — In-Depth Guide to How Google Search Works
5. Google Search Console Help — Page Indexing Report
6. Google Search Console Help — Inspect and Troubleshoot a Single Page