Filtre URL'leri tarama bütçesini tüketiyorsa sunucu nasıl rahatlatılır?

E-ticaret, ilan, seyahat veya ürün katalog sitelerinde filtreler kullanıcı deneyimi için gereklidir; ancak renk, beden, marka, fiyat, sıralama ve stok gibi parametreler kontrolsüz birleştiğinde binlerce hatta milyonlarca URL üretir. Arama motoru botları bu adresleri taramaya başladığında yalnızca SEO performansı değil, CPU, RAM, veritabanı ve cache katmanı da gereksiz yük altında kalır. Bu durum özellikle paylaşımlı veya kaynak sınırı belirgin hosting altyapılarında sayfa açılış hızını, dönüşüm oranını ve indeks kalitesini doğrudan etkileyebilir.

Buradaki amaç filtreleri tamamen kapatmak değil; arama değeri olan sayfaları korurken kopya, zayıf veya sonsuz kombinasyon üreten URL’lerin sunucuyu yormasını engellemektir. Doğru yaklaşım teknik SEO, sunucu yapılandırması ve ürün/kategori mimarisini birlikte ele almayı gerektirir.

Filtre URL’leri sunucuyu neden zorlar?

Filtreli URL’ler genellikle aynı veri kümesini farklı sıralama veya parametrelerle yeniden gösterir. Örneğin aynı kategori için ?renk=siyah, ?beden=m, ?siralama=fiyat ve bunların kombinasyonları oluşabilir. Botlar bu adresleri tek tek ziyaret ettiğinde veritabanı sorguları artar, cache isabet oranı düşer ve önemli sayfalar daha seyrek taranır.

Tarama bütçesinin boşa harcanması, yeni ürünlerin veya stratejik kategori sayfalarının geç keşfedilmesine de yol açabilir. Bu nedenle sorun yalnızca “bot çok geliyor” meselesi değildir; botun hangi URL’lere, hangi sıklıkta ve hangi maliyetle geldiği izlenmelidir.

Önce veriyle teşhis yapın

İlk adım tahminle değil log analiziyle ilerlemektir. Sunucu erişim loglarında Googlebot, Bingbot ve diğer botların en çok hangi parametreli URL’leri çağırdığı kontrol edilmelidir. Aynı zamanda Search Console’da tarama istatistikleri, keşfedilen ancak dizine eklenmeyen sayfalar ve kopya içerik uyarıları incelenmelidir.

Kontrol edilmesi gereken temel sinyaller

• Parametreli URL’lerin toplam istek içindeki oranı
• Filtre sayfalarının ortalama yanıt süresi
• 404, 301 zinciri veya 5xx hatası üreten filtre kombinasyonları
• Cache’e girmeyen dinamik sorgular
• İndekse alınmaması gereken sayfaların arama sonuçlarında görünmesi

Bu veriler olmadan yapılan robots.txt veya noindex değişiklikleri, değerli sayfaların görünürlüğünü azaltabilir. Özellikle gelir getiren “marka + kategori” veya “renk + ürün tipi” gibi aramalarda kullanıcı talebi varsa bu sayfalar rastgele engellenmemelidir.

Robots.txt ile taramayı azaltırken dikkatli olun

Robots.txt, botların belirli yolları taramasını azaltmak için pratik bir araçtır; fakat yanlış kullanıldığında arama motorunun canonical veya noindex etiketlerini görmesini de engelleyebilir. Eğer bir URL robots.txt ile kapatılırsa bot sayfaya erişemeyebilir ve sayfadaki yönlendirme ya da meta talimatını değerlendiremeyebilir.

Bu nedenle robots.txt daha çok net biçimde değersiz, sonsuz kombinasyon üreten parametreler için kullanılmalıdır. Sıralama, sayfa başına ürün sayısı, görünüm tipi gibi SEO değeri taşımayan parametreler genellikle engelleme adaylarıdır. Buna karşılık arama hacmi olan kategori kırılımlarında daha seçici davranmak gerekir.

Canonical, noindex ve dahili linkleme dengesini kurun

Filtre sayfalarının önemli bir bölümü ana kategoriye canonical verebilir. Bu, benzer içeriklerin ana sayfada konsolide edilmesine yardımcı olur. Ancak canonical bir garanti değil, arama motoruna verilen güçlü bir sinyaldir. Bu yüzden site içi linkleme, sitemap ve sayfa yapısı da aynı kararı desteklemelidir.

Arama değeri olmayan ancak kullanıcı için gerekli filtre sayfalarında noindex, follow kullanmak uygun olabilir. Böylece sayfanın dizine girmesi engellenirken üzerindeki bağlantılar takip edilebilir. Yine de çok büyük ölçekli yapılarda noindex sayfaların uzun süre taranmaya devam edebileceği unutulmamalıdır; bu yüzden canonical, robots.txt, parametre yönetimi ve dahili link kısıtlaması birlikte planlanmalıdır.

Sunucu tarafında yükü nasıl azaltabilirsiniz?

SEO talimatları tek başına yeterli değildir; botlar karar verene kadar sunucu kaynakları tüketilmiş olabilir. Bu noktada cache, sorgu optimizasyonu ve oran sınırlama birlikte ele alınmalıdır. Hosting sağlayıcınızın sunduğu kaynak limitleri, CDN desteği, object cache, OPcache ve WAF özellikleri burada belirleyici olur.

Uygulanabilir teknik adımlar

• Parametreli kategori sayfaları için kısa süreli de olsa sayfa cache’i kullanın.
• Fiyat aralığı, stok ve çoklu özellik filtrelerinde veritabanı indekslerini kontrol edin.
• Boş sonuç döndüren filtre kombinasyonlarını 200 yerine anlamlı şekilde yönetin.
• Çok derin filtre kombinasyonlarını arayüzde pasifleştirin veya linklenebilir olmaktan çıkarın.
• CDN üzerinden statik varlıkları ayırarak bot trafiğinin uygulama sunucusuna yükünü azaltın.
• Kötü niyetli veya sahte botları gerçek arama motoru botlarından ayırmak için ters DNS doğrulaması kullanın.

Oran sınırlama yapılacaksa Googlebot gibi gerçek botlar sert biçimde engellenmemelidir. Aşırı agresif kurallar, tarama sıklığını düşürürken önemli sayfaların keşfini de yavaşlatabilir. Daha güvenli yaklaşım, değersiz parametre gruplarında kademeli sınırlama ve gerçek kullanıcı trafiğini etkilemeyen cache politikasıdır.

WordPress ve WooCommerce sitelerinde pratik yaklaşım

WordPress tarafında filtre eklentileri çoğu zaman URL üretimini artırır. Eklenti ayarlarında indekslenebilir filtreler, AJAX filtreleme, canonical desteği ve parametre formatı mutlaka incelenmelidir. WooCommerce kullanıyorsanız ürün özellik arşivleri, marka sayfaları ve kategori filtreleri ayrı ayrı değerlendirilmelidir.

XML sitemap’e yalnızca indekslenmesi istenen sayfalar eklenmeli; filtre kombinasyonları otomatik olarak haritaya giriyorsa bu davranış düzeltilmelidir. Ayrıca kategori açıklamaları, özgün başlıklar ve kullanıcı niyetine göre hazırlanmış metinler yalnızca stratejik filtre sayfalarında kullanılmalıdır. Her filtre kombinasyonuna otomatik metin üretmek, kalite sinyallerini zayıflatabilir.

Hangi filtreler indekslenmeli, hangileri kapatılmalı?

Kararı verirken üç kriter kullanılabilir: arama talebi, ticari değer ve içerik farklılığı. “Kadın siyah deri bot” gibi belirgin niyet taşıyan ve ürün çeşitliliği sunan bir sayfa indekslenebilir. Buna karşılık “siyah + 38 numara + artan fiyat + stokta olanlar” gibi dar ve geçici kombinasyonların indekslenmesi genellikle gereksizdir.

Kurumsal ölçekte sürdürülebilir yöntem, filtreleri üç gruba ayırmaktır: indekslenecek stratejik sayfalar, kullanıcıya açık ama noindex kalacak sayfalar ve taraması sınırlandırılacak değersiz parametreler. Bu ayrım netleştiğinde hem SEO ekibi hem yazılım ekibi aynı harita üzerinden ilerler; sunucu kaynakları da daha kontrollü kullanılır.

Düzenli log takibi, Search Console kontrolleri ve performans ölçümleriyle hangi kuralın işe yaradığı izlenmelidir. Filtre yapısı değiştikçe tarama davranışı da değişeceği için bu çalışma tek seferlik bir temizlik değil, site büyüdükçe güncellenmesi gereken teknik bir yönetim sürecidir.