Web kazıma (scraping) betikleri ve otomasyon botları çalıştırılırken karşılaşılan en büyük engel, hedef sunucuların uyguladığı katı güvenlik filtreleridir. Tek bir IP adresinden saniyeler içinde onlarca istek gönderildiğinde Cloudflare, Akamai veya AWS WAF gibi Web Application Firewall (WAF) sistemleri bu trafiği anında izole eder. Sabit istek örüntüleri ve aşırı istek frekansı, hedef sunucuda doğrudan IP tabanlı rate limit mekanizmalarını tetikleyerek HTTP 429 (Too Many Requests) veya HTTP 403 (Forbidden) blokajlarına yol açar.
Proxy rotasyonu nasıl yapılır sorusunun teknik cevabı; istemci ile hedef sunucu arasına dinamik bir ara sunucu havuzu (proxy pool) veya akıllı bir rotasyon geçidi (gateway) yerleştirerek, giden her HTTP/HTTPS isteğini ya da belirlenen oturum aralıklarını farklı IP adresleri üzerinden yönlendirmektir. Bu mimari, binlerce istek yapan tek bir botu, sanki dünyanın farklı noktalarından siteyi gezen binlerce bağımsız kullanıcı gibi göstererek anti-bot filtrelerinin tetiklenmesini önler.
Proxy Rotasyonu Nedir ve Neden Hayatidir?
Proxy rotasyonu, istemcinin oluşturduğu ağ trafiğini statik bir çıkış noktasına bağlı bırakmak yerine, önceden tanımlanmış kurallara göre sürekli değişen bir IP ağına dağıtma sürecidir. Standart bir web oturumunda istemci, hedef sunucu ile doğrudan TCP el sıkışması gerçekleştirir ve sunucu tüm istekleri tek bir kaynak IP ile eşleştirir. Rotasyon mimarisinde ise akış şu şekilde ilerler:
İstemci (Bot/Scraper) -> Rotasyon Geçidi / Proxy Yöneticisi -> Seçilen Proxy Düğümü (IP) -> Hedef Sunucu
Hedef web sunucuları, altyapılarını kötüye kullanımdan korumak için Token Bucket veya Leaky Bucket algoritmalarını kullanan rate limiting sistemleri çalıştırır. Bu algoritmalar, gelen IP adresini hash tablolarında saklar ve belirlenen zaman penceresi içinde (örneğin 60 saniyede en fazla 30 istek) eşik değer aşıldığında istemciyi geçici ya da kalıcı olarak kara listeye alır. Proxy rotasyonu, bu istek yükünü yüzlerce veya on binlerce farklı IP adresine dağıtarak her bir IP'nin eşik değerin altında kalmasını sağlar. Böylece otomasyon botları kesintiye uğramadan veri toplamaya devam edebilir.
Temel Rotasyon Modelleri: Hangi Senaryoda Hangisi Seçilmeli?
Otomasyon projelerinde her senaryo aynı IP yönetim stratejisine uyum sağlamaz. Yanlış model seçimi, oturumların düşmesine veya botun kolayca deşifre olmasına neden olur. Sektörde uygulanan iki ana rotasyon mimarisi mevcuttur.
İstek Başına (Per-Request) Rotasyon
İstek başına rotasyonda, istemcinin gönderdiği her bağımsız HTTP GET veya POST çağrısı havuzdan tamamen farklı bir IP adresi üzerinden hedef sunucuya iletilir. İstemci 100 sayfalık bir ürün listesini tarıyorsa, arka planda 100 farklı IP adresi devreye girer.
Bu yaklaşım durumsuz (stateless) operasyonlar için kusursuzdur:
- E-ticaret sitelerinden açık ürün fiyatı ve stok kazıma
- Arama motoru sonuç sayfalarının (SERP) taranması
- Kamuya açık dizin ve bülten verilerinin çekilmesi
İstek başına modelde bir IP engellense dahi sadece tek bir istek başarısız olur; sistem bir sonraki IP ile akışı sürdürebilir.
Süre ve Oturum Tabanlı (Sticky Session) Rotasyon
Durumlu (stateful) operasyonlarda istek başına IP değiştirmek süreci tamamen bozar. Bir web sitesine kullanıcı girişi yapıldığında, sunucu istemciye bir oturum çerezi (session cookie) atar ve bu çerezi genellikle istemcinin bağlandığı IP adresi veya alt ağ (subnet) ile doğrular. Kullanıcı girişi yaptıktan hemen sonra sepete ürün eklerken IP adresiniz Almanya'dan ABD'ye değişirse, güvenlik filtreleri oturumu anında sonlandırır.
Sticky session (yapışkan oturum) modelinde istemciye belirli bir süre (örneğin 5, 10 veya 30 dakika) ya da belirli bir işlem akışı tamamlanana kadar sabit bir IP tahsis edilir. Bu süre dolduğunda veya oturum kimliği (session_id) manuel yenilendiğinde IP rotasyona uğrar. Üye girişi gerektiren portallar, sepet ve ödeme adımları ile çok adımlı form doldurma işlemleri mutlaka sticky proxy mimarisiyle yönetilmelidir.
| Kriter | İstek Başına (Per-Request) | Oturum Tabanlı (Sticky Session) |
|---|---|---|
| Oturum Durumu | Tamamen Durumsuz (Stateless) | Durumlu (Stateful) |
| IP Değişim Sıklığı | Her tekil HTTP isteğinde | Belirli sürede (1-30 dk) veya oturum bitiminde |
| İdeal Senaryo | Ürün/SERP kazıma, kamuya açık veri tarama | Login işlemleri, e-ticaret sepet adımları, form akışları |
| WAF Yakalanma Riski | Çok Düşük (Dağıtık yük) | Orta (Süre uzadıkça rate limit riski artar) |
| Hata Yönetimi | Kolay (Başarısız isteği yeni IP ile tekrarla) | Dikkatli yönetim (Oturum çerezini koruyarak IP yenileme) |
Proxy Rotasyonu Nasıl Yapılır? Adım Adım Mimari Kurulum
Başarılı bir IP rotasyon mekanizması kurmak, yalnızca rastgele proxy adreslerini bir listeye eklemekten ibaret değildir. Altyapı, IP türünden başlık doğrulamasına kadar katmanlı bir düzen gerektirir.
Adım 1: Proxy Havuzunun Oluşturulması ve IP Türü Seçimi
Rotasyonun başarısı, arkasındaki havuzun kalitesine doğrudan bağlıdır. Kullanılacak IP türleri temel olarak üçe ayrılır:
- Veri Merkezi (Datacenter) Proxy'leri: AWS, DigitalOcean, Hetzner gibi veri merkezlerinden tahsis edilen IP'lerdir. Çok hızlı ve maliyeti düşüktür; ancak ASN (Otonom Sistem Numarası) kayıtları kurumsal veri merkezlerine ait olduğu için gelişmiş anti-bot korumaları tarafından kolayca tespit edilirler.
- Konut (Residential) Proxy'leri: Gerçek ev kullanıcılarının internet servis sağlayıcıları (Türk Telekom, Comcast, Vodafone vb.) tarafından atanan IP adresleridir. Hedef sunucular bu IP'leri ev kullanıcısı olarak gördüğü için engelleme olasılığı oldukça düşüktür.
- Mobil (4G/5G) Proxy'ler: Mobil operatörlerin baz istasyonları üzerinden CGNAT mimarisiyle paylaştırılan dinamik IP'lerdir. Tespit edilmesi en zor proxy türüdür.
Hedef platformun güvenlik seviyesine göre doğru türü seçmek kritik önem taşır. Konunun altyapı maliyetleri ve tespit mekanizmaları açısından detayları için residential ve veri merkezi proxy farkları kılavuzumuzu inceleyerek projenizin bütçe ve güvenlik dengesini netleştirebilirsiniz.
Adım 2: Rotasyon Geçidi (Rotating Gateway) vs. İstemci Taraflı Havuz
Proxy rotasyonunu iki farklı yöntemle yönetebilirsiniz:
- Backconnect / Rotasyon Geçidi (Gateway): Profesyonel proxy sağlayıcıları tek bir giriş noktası (
gate.proxyprovider.com:8080) sunar. Kodunuz bu tek adrese bağlanır; sağlayıcının omurgası arkada dönen yüz binlerce IP'yi otomatik olarak her istekte veya belirlediğiniz parametreye göre değiştirir. İstemci tarafında liste yönetimi gerektirmediği için mimariyi son derece basitleştirir. - İstemci Taraflı (Client-Side) Havuz Yönetimi: Elinizdeki proxy listesini (IP:Port:User:Pass) uygulamanızın belleğinde tuttuğunuz modeldir. Kodunuz, her istekte bu listeden Round-Robin (sırayla) veya rastgele (random) seçim yapar. Bu modelde ölü proxy'lerin tespiti, rate limit yiyen IP'lerin geçici olarak dinlendirilmesi ve gecikme sürelerinin (latency) ölçülmesi tamamen sizin yazılımınızın sorumluluğundadır.
Adım 3: User-Agent ve Tarayıcı Parmak İzi Senkronizasyonu
Birçok geliştiricinin düştüğü en büyük hata, IP adresini her istekte değiştirirken HTTP başlıklarını (headers) ve TLS parmak izini sabit bırakmaktır. Örneğin, IP adresi sürekli değişen bir botun User-Agent dizesi her zaman aynı eski Chrome sürümü olarak kalıyorsa veya HTTP/2 çerçeve ayarları (fingerprint) Python'ın varsayılan kütüphanesini işaret ediyorsa, WAF sistemleri durumu anında yakalar.
Anti-bot sistemleri, TLS el sıkışmasındaki şifre paketlerini (cipher suites) analiz eden JA3/JA4 algoritmaları kullanır. IP adresiniz konut IP'si olsa dahi, TLS parmak iziniz standart bir cURL veya Python betiği olarak görünüyorsa istekler 403 Forbidden ile sonuçlanır. Bu mekanizmanın derinlemesine analizi ve başlık tutarsızlıklarını gidermek için web scraping 403 hatası çözümü rehberimizdeki adımları uygulayarak istemci başlıklarınızı tam uyumlu hale getirmelisiniz.
Python ile Proxy Rotasyonu Uygulaması: Kod Örneği ve Hata Yönetimi
Aşağıdaki nesne yönelimli Python örneği; istemci taraflı proxy havuzu yönetimini, başarısız proxy'lerin geçici olarak kara listeye alınmasını ve HTTP 429/403 yanıtlarında üstel geri çekilme (exponential backoff) mantığını içerir.
import time
import random
import requests
from typing import Dict, List, Optional
class RobustRotator:
def __init__(self, proxy_list: List[str], max_retries: int = 3):
self.raw_proxies = proxy_list
self.max_retries = max_retries
# Proxy sağlığı: {proxy_url: cooldown_bitis_zamani}
self.cooldown_tracker: Dict[str, float] = {}
self.session = requests.Session()
def _get_active_proxy(self) -> Optional[str]:
now = time.time()
# Cooldown süresi dolmuş veya hiç ceza almamış proxy'leri filtrele
available = [
p for p in self.raw_proxies
if self.cooldown_tracker.get(p, 0) <= now
]
if not available:
return None
return random.choice(available)
def _penalize_proxy(self, proxy: str, duration: int = 120):
"""Hata veren veya rate limite takılan proxy'yi dinlendirmeye al."""
self.cooldown_tracker[proxy] = time.time() + duration
def send_request(self, target_url: str) -> Optional[requests.Response]:
attempts = 0
backoff_delay = 1.0
while attempts < self.max_retries:
proxy = self._get_active_proxy()
if not proxy:
time.sleep(2.0)
attempts += 1
continue
proxies_dict = {
"http": proxy,
"https": proxy
}
headers = {
"User-Agent": f"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/12{attempts}.0.0.0 Safari/537.36",
"Accept-Language": "tr-TR,tr;q=0.9,en-US;q=0.8",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"
}
try:
# Bağlantı ve okuma zaman aşımını ayrı tutarak havuz kilitlenmelerini önle
response = self.session.get(
target_url,
proxies=proxies_dict,
headers=headers,
timeout=(3.05, 10.0)
)
if response.status_code == 200:
return response
elif response.status_code in [403, 429]:
# IP engellendi veya rate limit aşıldı; proxy'yi 3 dakika cezalandır
self._penalize_proxy(proxy, duration=180)
time.sleep(backoff_delay)
backoff_delay *= 2.0
else:
self._penalize_proxy(proxy, duration=60)
except (requests.exceptions.ProxyError,
requests.exceptions.ConnectTimeout,
requests.exceptions.ReadTimeout):
# Yanıt vermeyen veya ölü proxy'yi geçici olarak havuzdan çıkar
self._penalize_proxy(proxy, duration=300)
attempts += 1
return None
if __name__ == "__main__":
# Format: http://kullanici:sifre@ip:port veya http://ip:port
test_proxies = [
"http://proxy_user1:[email protected]:8080",
"http://proxy_user2:[email protected]:8080",
"http://proxy_user3:[email protected]:8080"
]
rotator = RobustRotator(proxy_list=test_proxies)
data = rotator.send_request("https://httpbin.org/ip")
if data:
print("İstek Başarılı:", data.json())
else:
print("Tüm denemeler başarısız oldu veya proxy havuzu tükendi.")
Bu kod kurgusundaki kritik detay, (3.05, 10.0) şeklinde tanımlanan iki boyutlu zaman aşımı (timeout) değeridir. İlk parametre proxy sunucusuna bağlantı kurma sınırını (connection timeout), ikincisi ise hedef sunucudan ilk baytın gelme süresini (read timeout) belirler. Proxy havuzlarında donan, yanıt vermeyen IP'ler bu sınır sayesinde anında elenir ve uygulamanın darboğaza girmesi engellenir.
Bot ve Otomasyon Sistemlerinde İleri Düzey IP Yönetimi
Basit HTTP istekleri seviyesindeki proxy rotasyonu, temel API ve HTML kazıma işlemleri için yeterli olsa da karmaşık tarayıcı otomasyonlarında tek başına yetersiz kalır. Modern bot koruma platformları (Cloudflare Turnstile, Datadome, Kasada), gelen bağlantının sadece IP geçmişine değil, tarayıcı bağlamındaki mikro davranışlarına da bakar.
Gelişmiş bot mimarilerinde IP rotasyonu şu bileşenlerle desteklenmelidir:
- Çerez Isıtma (Cookie Warming): Yeni atanan bir IP üzerinden hedef siteye gidildiğinde doğrudan hedef sayfaya (örneğin sepet veya kritik veri sayfası) istek atılmamalıdır. Önce sitenin ana sayfası, hakkımızda veya rastgele bir kategori sayfası ziyaret edilerek tarayıcıya doğal çerez geçmişi kazandırılmalıdır.
- Kullanıcı Davranış Simülasyonu: IP değişimleri arasında sayfa kaydırma hızları, fare hareketleri (Bézier eğrileri ile) ve klavye tuş basım gecikmeleri rastgele değişkenliklerle modellenmelidir.
- WebRTC ve Donanım Sızıntısı Engelleme: Headless tarayıcılarda (Puppeteer, Playwright) proxy tanımlansa dahi WebRTC arayüzü gerçek yerel IP adresini sızdırabilir. Tarayıcı profilinde WebRTC tamamen devre dışı bırakılmalı veya proxy IP'si ile maskelenmelidir.
Bu tür çok katmanlı gereksinimleri sıfırdan inşa etmek yüksek yazılım geliştirme eforu gerektirir. Eğer arama motoru etkileşimleri, organik gezinti simülasyonları veya trafik testleri yürütüyorsanız, proxy yönetimini tarayıcı parmak izi koruması ve otomatik davranış motorlarıyla harmanlayan gelişmiş organik hit botu yazılımı gibi profesyonel çözümleri tercih ederek altyapı maliyetinizi minimize edebilirsiniz.
Proxy Rotasyonunda Sık Yapılan Hatalar ve Kaçınma Yolları
Otomasyon projelerinde en sık karşılaşılan üç kritik operasyonel hata ve bunların pratik çözümleri şunlardır:
- Durumlu Akışlarda İstek Başına Rotasyon Kullanmak: Login yapılması gereken veya CSRF token taşıyan form akışlarında per-request rotasyon açıldığında, formun GET ile çekildiği IP ile POST edildiği IP uyuşmaz. Sunucu isteği hemen reddeder. Çözüm, bu tür iş akışlarında oturum sonlanana kadar aynı IP'yi muhafaza eden sticky proxy konfigürasyonuna geçmektir.
- Coğrafi Konum (Geo-location) Tutarsızlığı: İstemcinin iki saniye arayla gönderdiği ilk isteğin Frankfurt, ikinci isteğin ise Tokyo çıkışlı bir IP'den gitmesi, güvenlik duvarlarının anomali tespit kurallarına takılır. Rotasyon kurgulanırken proxy sağlayıcısının sunduğu coğrafi hedefleme (geo-targeting) parametreleri kullanılarak isteklerin aynı ülke veya şehir sınırları içinde rotasyona uğraması sağlanmalıdır.
- Ölü Proxy'lerin Havuzda Tutulması: Yanıt vermeyen veya bant genişliği tükenen proxy'ler zaman aşımı zincirlerine yol açarak botun işleme kapasitesini düşürür. Kodunuzda başarısız olan proxy'leri belirli sürelerle havuzdan tecrit eden ceza mekanizmaları (cooldown lists) ve arka planda periyodik ping atan sağlık kontrolü (health check) iş parçacıkları yer almalıdır.
Sıkça Sorulan Sorular
Proxy rotasyonu Cloudflare ve WAF engellerini tek başına aşar mı?
Hayır. Proxy rotasyonu sadece IP tabanlı rate limit ve itibar (reputation) engellerini aşar. Cloudflare ve benzeri modern WAF sistemleri; HTTP başlık sırası, TLS JA3/JA4 parmak izi, HTTP/2 SETTINGS çerçeveleri ve JavaScript challenge'ları ile istemciyi analiz eder. Tam başarı için IP rotasyonu ile birlikte tarayıcı parmak izi spoofing teknikleri de uygulanmalıdır.
Sticky proxy ile rotating proxy arasındaki temel fark nedir?
Rotating (istek başına) proxy, gönderilen her tekil HTTP talebinde IP adresini otomatik olarak yeniler. Sticky proxy ise belirlenen bir süre (örneğin 10 dakika) boyunca tüm isteklerin aynı IP adresi üzerinden akmasını sağlar. Veri kazıma için rotating; kullanıcı girişi ve sepet işlemleri için sticky proxy tercih edilir.
Proxy havuzunun sağlığı (health check) nasıl izlenir?
Arka planda çalışan bağımsız bir thread veya asenkron görev, proxy havuzundaki IP'lere düşük gecikmeli bir test endpoint'i (örneğin Cloudflare arkasında olmayan hafif bir kontrol sunucusu) üzerinden 30-60 saniyede bir istek atar. Belirlenen timeout süresini aşan veya hata kodu döndüren IP'ler aktif havuzdan çıkarılarak dinlenme listesine alınır.
Mobil proxy rotasyonu neden diğer türlere göre daha az engellenir?
Mobil operatörler, IPv4 adres yetersizliği nedeniyle CGNAT (Carrier-Grade NAT) teknolojisini kullanır. Bu sistemde tek bir mobil IP adresi üzerinden aynı anda yüzlerce gerçek mobil cihaz internete çıkar. Anti-bot sistemleri bir mobil IP'yi engellediğinde gerçek kullanıcıları da engelleyeceğini bildiği için mobil IP'lere uygulanan rate limit eşikleri konut ve veri merkezi IP'lerine kıyasla çok daha toleranslıdır.