Crawl Bütçesi Yönetimi: Binlerce PSEO Sayfasını Google’a Nasıl Onaylatırsın?
Pixenon Dijital Büyüme Ajansı
Programmatic SEO (PSEO) projelerinde en sık karşılaşılan hayal kırıklığı şudur: 10.000 sayfa yayınlarsın, birkaç hafta sonra Search Console’a girersin ve sayfaların büyük kısmı “Discovered currently not indexed” ya da “Crawled currently not indexed” kategorisinde beklemektedir.
İçerik kötü değildir, teknik altyapı çalışır durumdadır ama Google sayfaların büyük kısmına hiç uğramamış ya da uğrayıp index’lememeye karar vermiştir.
Bu, içerik kalitesi sorunundan önce bir crawl bütçesi sorunudur. Ve büyük ölçekli PSEO projelerinde bu iki sorun birbirine kolayca karışır. Bu yazıda ikisini ayırıyoruz, nedenini ve çözümünü adım adım anlatıyoruz.
Crawl Bütçesi Aslında Nedir?
Google’ın resmi tanımına göre crawl bütçesi, Googlebot’un bir siteyi taramak için ayırdığı zaman ve kaynak miktarıdır. İki ana bileşenden oluşur:
Crawl capacity limit (tarama kapasite limiti): Googlebot’un sunucunu yormadan eş zamanlı kaç bağlantı kullanabileceği ve istekler arası bekleme süresi. Site hızlı yanıt verirse bu limit yükselir, daha fazla bağlantı kullanılabilir; site yavaşlarsa veya sunucu hatası dönerse limit düşer ve Google daha az tarama yapar.
Crawl demand (tarama talebi): Google’ın o siteyi ne kadar önemsediği. Googlebot’un talebi sitenin büyüklüğüne, güncellenme sıklığına, sayfa kalitesine ve diğer sitelere göre alaka düzeyine bağlı olarak değişir. Bunu belirleyen üç faktör var:
- Algılanan envanter: Sizden yönlendirme olmadan Google, bildiği tüm URL’leri taramaya çalışır. Bunların çoğu kopya ise veya taranmasını istemiyorsanız, bu durum Google’ın tarama zamanının büyük kısmını boşa harcamasına neden olur ve bu, en çok kontrol edebileceğiniz faktördür.
- Popülerlik: İnternette daha popüler olan URL’ler daha taze tutulmak için daha sık taranır.
- Bayatlama (staleness): Sistemler, değişiklikleri yakalayacak kadar sık yeniden taramak ister.
Önemli bir nokta: tarama kapasite limiti tam doldurulmamış olsa bile, eğer tarama talebi düşükse Google sitenizi daha az tarar. Yani sadece sunucunuzu güçlendirmek yetmez Google’a “bu içerik önemli, beni daha sık tara” sinyalini de vermeniz gerekir.
Bir diğer kritik ayrım: taranan her şey mutlaka index’lenmeyecektir; her sayfa taranıp birleştirildikten sonra index’e uygunluğu değerlendirilir.
Yani crawl ve index iki ayrı kapıdır. PSEO’da çoğu zaman gerçek sorun, sayfaların hiç taranmaması değil, taranıp da “bu index’e değmez” denilmesidir.
Bu Konuyu Ne Zaman Ciddiye Almalısın?
Google bu rehberin kimler için olduğunu net tanımlıyor. Rehber özellikle şu site türleri için: içeriği orta sıklıkla (haftada bir) değişen, 1 milyon+ benzersiz sayfaya sahip büyük siteler; içeriği çok hızlı (günlük) değişen, 10.000+ benzersiz sayfaya sahip orta veya büyük siteler; ve Search Console’da “Discovered currently not indexed” olarak sınıflandırılan URL oranı yüksek olan siteler. Google bu rakamların kesin eşik değil, kabaca sınıflandırma için olduğunu da ekliyor.
Türkiye pazarında çalışan bir PSEO projesi için pratik karşılık şudur: 500-1.000 sayfalık bir pilot bunun dışındadır, ama 5.000+ sayfaya çıkan, haftalık yeni şehir/ürün/kategori sayfası ekleyen bir yapı tam olarak bu rehberin hedef kitlesidir.
Eğer siteniz hızla değişen çok sayıda sayfaya sahip değilse, veya sayfalarınız yayınlandığı gün taranıyor gibi görünüyorsa, bu rehbere ihtiyacınız yok sitemap’inizi güncel tutmak ve index kapsamını düzenli kontrol etmek yeterli. Yani crawl bütçesi optimizasyonuna girmeden önce gerçekten bir sorun olup olmadığını teyit etmek gerekir.
PSEO’da Crawl Bütçesini Tüketen 5 Klasik Hata
Şablon Çeşitlemesi, İçerik Çeşitlemesi Değildir
PSEO’nun mantığı bir şablonu binlerce veri kombinasyonuyla doldurmaktır “İstanbul’da SEO Ajansı”, “Ankara’da SEO Ajansı”, “İzmir’de SEO Ajansı” gibi. Sorun, şablon aynı kalırken sayfalar arası gerçek fark sadece şehir adı değiştiğinde ortaya çıkar. Bu durumda Google, binlerce sayfayı tek bir “kalıp” olarak okur ve crawl demand’i düşürür.
2026’nın Mart ayındaki core update bu konuda net bir sinyal verdi: Google’ın Mart 2026 core update’i, ölçekli içerik kötüye kullanımını (scaled content abuse) açıkça ihlal olarak adlandırdı.
Gerçek katma değer olmadan AI veya şablon otomasyonuyla binlerce neredeyse aynı sayfa üreten siteler bir gecede %60-90 sıralama kaybı yaşadı.
Buna karşılık gerçek veri farklılaşması olan PSEO hayatta kalıyor: doğrulanmış listelere sahip yerel işletme dizinleri, canlı fiyatlandırmalı karşılaştırma araçları, gerçek envanter verisine sahip seyahat rehberleri sıralanmaya devam ediyor.
Eşik, her sayfanın sitede başka hiçbir sayfanın yanıtlamadığı farklı bir kullanıcı sorgusuna yanıt verip vermediğidir.
Pratik çıkarım: Pixenon’da PSEO şablonu kurarken her sayfaya en az bir şablonsuz paragraf ekliyoruz kısa bir editöryel yorum, kullanım senaryosu veya gerçek veri noktası.
Sektör pratiği bunu şöyle özetliyor: her sayfanın şablondan üretilmemiş en az bir paragrafa ihtiyacı vardır kısa bir editöryel yorum, kullanım senaryosu anekdotu, vaka çalışması referansı veya ekipten birinin bakış açısı olabilir.
Uzun olması gerekmez; bir sayfayı “şablon” durumundan “gerçek insan girdisi içeren şablon” durumuna yükseltmek için 250 kelimelik benzersiz anlatı yeterlidir. Öncelikli sayfalarda bu, şablon yapının üzerine 600-1.200 kelimelik bir editöryel katmana dönüşür.
Faceted Navigation ve Parametre Patlaması
E-ticaret ağırlıklı PSEO’larda (ürün × renk × beden × sıralama gibi) URL sayısı katlanarak büyür. 50 ürün, 5 renk seçeneği, 4 beden seçeneği ve 3 sıralama düzenine sahip tek bir kategori, 3.000 benzersiz URL kombinasyonu üretir. Binlerce kategoride bu durum, crawl kuyruğunu dolduran milyonlarca neredeyse özdeş parametre URL’si yaratır.
Çözüm sırası şu şekilde olmalı:
- Parametre URL’lerinde temiz URL’yi gösteren rel=canonical kullan.
- Site içi linklerin parametre değil, canonical URL’lere işaret ettiğinden emin ol.
- Gerçekten kullanıcıya değer katmayan filtre kombinasyonlarını (örneğin “sırala: fiyat artan” gibi) robots.txt ile engelle.
“Crawled Currently Not Indexed” ile “Discovered – Currently Not Indexed” Karıştırılması
Bu iki durum farklı sorunlara işaret eder ve farklı çözümler gerektirir:
Discovered currently not indexed: Google URL’nin var olduğunu biliyor (sitemap’ten ya da bir internal linkten) ama henüz taramamış. Bu tipik olarak bir crawl bütçesi ya da kuyruk sorunudur.
Crawled currently not indexed: Google sayfayı zaten değerlendirmiş ve bilinçli olarak index’lememe kararı vermiş. Bu durumda mesele artık crawl değil, kalite algısıdır.
Bu ayrımı yapmadan “daha fazla crawl bütçesi” peşine düşmek zaman kaybıdır sorun zaten taranmış ama reddedilmiş sayfalardaysa, çözüm sunucu hızlandırmak değil içerik/kalite katmanını güçlendirmektir.
Search Console’daki bu raporu okurken bir uyarı: Page Indexing raporu verisi genellikle URL Inspection aracından daha yavaş güncellenir; birkaç gün gecikme olabilir.
Bir sayfayı düzelttikten hemen sonra rapor hâlâ eski statüyü gösterebilir panikten önce URL Inspection ile tek tek doğrulamak gerekir.
4. Site Kalitesi Algısı Tek Tek Sayfaları da Etkiler
En çok gözden kaçan nokta budur. En şaşırtıcı sebep şu: bir sayfa, sitenin genel kalitesi konusunda Google ikna olmadığı için index’lenmeyebilir.
Yani 8.000 zayıf PSEO sayfası yayınlarsan, aralarındaki 200 gerçekten iyi sayfa da bu “kötü mahalle” etkisinden zarar görebilir.
Bu yüzden Pixenon’da büyük ölçekli PSEO lansmanlarını asla tek seferde yapmıyoruz. Sektördeki kabul görmüş aşamalı yaklaşım şöyle işliyor:
Faz 1: 50-100 yüksek güvenilirlikli sayfa. En yüksek öncelikli permütasyonları önce yayınla. İki-dört hafta boyunca indexleme, gösterim ve sıralamaları izle.
Amaç, ölçeklemeden önce şablonun çalıştığını doğrulamaktır.
Faz 2: 500-2.000 sayfa, indexleme oranı %80’in üzerinde ve çoğu sayfada ölçülebilir gösterim olduğunda bir sonraki dilime genişle.
Faz 3: tam yayılım.
Bu kademeli yaklaşımın gerekçesi de somut bir vaka ile destekleniyor: ölçeklemeden önce doğrulama yapılmadığında 8.000 sayfadan sadece 312’sinin sıralandığı, geri kalanının ya index’lenip görünmez kaldığı, Google tarafından deindex edildiği ya da Crawled-currently not indexed kovasında sıkışıp kaldığı türden felaketler yaşanabiliyor.
AI Botlarının Sunucu Yükünü Paylaşması
2026’nın yeni bir dinamiği: artık sadece Googlebot değil, çok sayıda AI crawler’ı da sunucu kapasitesini paylaşıyor. GPTBot, CCBot, Google Extended ve diğer AI crawler’lar siteyi bağımsız olarak tarıyor ve derin tarama döngülerinde mevcut bant genişliğinin %40’ına kadarını tüketebiliyor.
Bu ek tüketimin bir yan etkisi var: Googlebot için sunucu erişilebilirliğini azaltarak etkili crawl rate limitini baskılayabiliyor.
Bunun karşılığında akla gelen ilk çözüm bu botları robots.txt ile engellemek bedelsiz değil: GPTBot’u engelleyen siteler ChatGPT yanıtlarında %73 daha az atıfta bulunuldu.
Yani AI görünürlüğüne önem veren markalar için bu kararı sadece sunucu yükü açısından değil, GEO (generative engine optimization) stratejisi açısından da değerlendirmek gerekiyor.
Adım Adım Uygulama Planı
Adım 1: URL Envanterini Yönet
Google’ın kendi tavsiyesi net: URL’leri konsolide ederek benzersiz URL’ler yerine benzersiz içeriğe odaklanın.
Önemli olmayan sayfaları robots.txt ile engelleyin örneğin sonsuz kaydırma sayfaları veya bağlantılı sayfalarla aynı bilgiyi tekrar eden farklı sıralanmış versiyonlar.
Burada kritik bir uyarı var: noindex kullanmayın, çünkü Google yanıtta noindex meta etiketini veya header’ı gördüğünde sayfayı yine de isteyecek, sonra düşürecek ve bu tarama zamanını boşa harcayacaktır. robots.txt’i diğer sayfalar için geçici olarak crawl bütçesi yeniden tahsis etmek amacıyla kullanmayın; robots.txt’i hiç taranmasını istemediğiniz sayfaları engellemek için kullanın.
Google, sitenizin sunma limitlerine zaten ulaşmadığı sürece bu yeni açılan crawl bütçesini başka sayfalara kaydırmayacaktır.
Adım 2: Kalıcı Silinen Sayfalarda 404/410 Kullan
Google bildiği bir URL’yi unutmaz, ancak 404 durum kodu o URL’nin tekrar taranmaması için güçlü bir sinyaldir. Engellenen URL’ler ise crawl kuyruğunda çok daha uzun süre kalır ve engel kaldırıldığında yeniden taranır.
Adım 3: Soft 404’leri Temizle
Soft 404 sayfaları taranmaya devam eder ve bütçenizi boşa harcar. Index Coverage raporunda soft 404 hatalarını kontrol edin. PSEO’da bu özellikle “veri bulunamadı” durumunda boş şablon döndüren ama 200 status code veren sayfalarda sık görülür örneğin stoksuz bir ürün veya hiç ilan olmayan bir şehir sayfası.
Adım 4: Sitemap’i Segmente Et ve Güncel Tut
Google sitemap’inizi düzenli olarak okur, bu yüzden taranmasını istediğiniz tüm içeriği eklediğinizden emin olun. Sitenizde güncellenen içerik varsa lastmod etiketini eklemenizi öneririz.
Ancak bu etiketi gerçek dışı kullanmak ters tepiyor: tüm lastmod tarihlerini her gün güncelleyen siteler Google’ı sinyallerine güvenmemesi için eğitir istenenin tam tersi.
Büyük PSEO projelerinde içerik tipine göre ayrı sitemap dosyaları (ürünler, kategoriler, şehir sayfaları, blog) kullanmak, Search Console’da tip bazlı crawl/index oranını ayrı ayrı izlemeyi mümkün kılar.
Adım 5: Redirect Zincirlerinden Kaçın
Uzun redirect zincirlerinden kaçının, çünkü bunlar tarama üzerinde olumsuz etki yapar. PSEO’da URL yapısı sık değiştirilen projelerde (örneğin slug formatı revize edildiğinde) bu zincirler birikir periyodik bir redirect haritası temizliği şart.
Adım 6: Sayfa Yükleme Hızını ve Render Edilebilirliği İyileştir
Google sayfalarınızı daha hızlı yükleyip render edebilirse, sitenizden daha fazla içerik okuyabiliriz. JavaScript ile client-side render edilen PSEO sayfaları (özellikle React/Next.js tabanlı projelerde hatalı SSR yapılandırması), Googlebot’un içeriği hiç görmemesine yol açabilir bu da “crawled ama içerik boş” şeklinde algılanıp index dışı bırakılmaya neden olur.
Adım 7: Crawl Bütçesini Gerçekten Artırmanın İki Yolu
Google bunu açıkça iki seçeneğe indirgiyor: Sunucu kapasitesi nedeniyle siteniz taranamıyorsa (örneğin URL Inspection aracında “Hostload exceeded” hatası alıyorsanız), işiniz için mantıklıysa daha fazla sunucu kaynağı ekleyin.
Diğer yandan içeriğinizin kalitesini hedeflediğiniz Google ürününe göre optimize edin Google Arama için bu popülerlik, genel kullanıcı değeri, içerik benzersizliği ve sunum kapasitesi gibi unsurları içerir.
Yani teknik altyapı tek başına yeterli değil; Google’ın sitenizi “tarama zahmetine değer” görmesi gerekiyor. Bu da bizi PSEO’nun asıl temel sorusuna geri götürüyor: her sayfa gerçekten benzersiz bir değer mi sunuyor?
Gerçekçi Beklentiler: Sayılarla PSEO
PSEO’ya başlarken beklenti yönetimi kadar önemli bir şey yok. Saha verileri şunu gösteriyor:
- En iyi uygulamalardan biri olan Wise’ın döviz çevirici sayfaları: 260.000 sayfa → 46 milyon aylık ziyaret = sayfa başına ~177 ziyaret (sektörün en iyisi).
- Zapier’ın entegrasyon sayfaları: 50.000 sayfa → 5,8 milyon ziyaret = sayfa başına ~116 ziyaret. Zapier ayrıca 800.000+ sayfası index’lenmiş durumda — bilinen en büyük PSEO uygulaması.
- Daha mütevazı ama gerçekçi bir örnek: Canva’nın renk paleti sayfaları: 1.900 sayfa → 83.000 aylık ziyaret = sayfa başına ~44 ziyaret. Bu, yayınlanmış, index’lenmiş ve uzun kuyruk terimlerinde sıralanan iyi bir PSEO sonucudur.
Ama madalyonun öbür yüzü şu: tipik PSEO çıktısının en üst %20’si trafiğin %80’inden fazlasını sürüklüyor. Alt %50 genellikle sıfır arama motoru tıklaması çekiyor.
Yani 5.000 sayfa yayınlayıp hepsinin trafik getirmesini beklemek gerçekçi değil amaç doğru 1.000 sayfayı bulmak ve geri kalanı o sayfaların kalitesini düşürmeden, sistematik şekilde inşa etmek.
Pixenon Yaklaşımı: Crawl Bütçesini Stratejik Varlık Olarak Yönetmek
Crawl bütçesi yönetimi, PSEO projelerinde “sonradan düzeltilecek teknik detay” değil, içerik stratejisinin bir parçası olarak en baştan tasarlanmalıdır. Pixenon’da büyük ölçekli PSEO projelerine yaklaşımımız şu sırayı izler:
- Veri katmanını doğrula şablonu doldurabilecek gerçek, güncellenebilir, benzersiz veri kaynağı var mı?
- Pilot fazda kanıtla 50-100 sayfalık dilimde indexleme oranı, gösterim ve sıralama sinyallerini izle.
- Teknik altyapıyı sıfırla canonical, sitemap segmentasyonu, redirect haritası, render performansı.
- Kademeli yayınla indexleme oranı kanıtlanmadan ikinci dilime geçme.
- Log dosyalarıyla doğrula Search Console’a güvenmek yerine, gerçek Googlebot davranışını sunucu loglarından izle.
Binlerce sayfalık bir PSEO mimarisi doğru kurulduğunda crawl bütçesi bir kısıt olmaktan çıkar, sürdürülebilir bir organik trafik motoruna dönüşür.
Yanlış kurulduğunda ise en kaliteli içerik bile Google’ın gözünden kaçmaya devam eder.
