Giriş

Bağlantı Kontrol Otomasyonu, bir web sitesindeki dahili veya harici bağlantıların düzenli olarak doğrulanması, kullanılabilirlik ve içerik bütünlüğünün izlenmesi demektir. Özellikle çok sayıda yönlendirme ve ortaklık içeren sitelerde "link izleme" ve "uptime monitörü" sistemleri, kullanıcı deneyimini korumak ve gelir fırsatlarını güvenceye almak için gereklidir. Bu rehber, cron tabanlı basit izlemelerden, bot (headless browser) tabanlı doğrulamaya ve sağlam bir "alert sistemi" tasarımına kadar pratik adımlar sunar.

Hangi öğeleri izlemelisiniz?

• HTTP durum kodları: 200, 301/302 yönlendirmeleri, 4xx/5xx hataları.
• Gecikme (latency): Yanıt süresi ve sayfa yükleme zamanı.
• İçerik doğruluğu: Anahtar metin, reklam yerleşimi veya yönlendirme zincirindeki beklenmedik değişiklikler.
• SSL/TLS sertifika süresi: Süre bitimine yakın uyarı.
• DNS ve IP değişiklikleri: Beklenmeyen değişiklikler için izleme.
• Ekran görüntüsü / görsel doğrulama: Görünümdeki bozulmaları tespit etmek için periyodik ekran görüntüleri.

Mimari seçenekleri: Basitten gelişmişe

İhtiyaca göre üç ana yaklaşım vardır: cron tabanlı basit kontroller, bot tabanlı (headless browser) doğrulamalar ve bulut/yönetilen servislerle ölçeklendirilmiş çözümler.

1) Cron + curl: Hızlı başlangıç

Basit link kontrolleri için sunucuda cron görevleriyle periyodik HTTP istekleri yapmak yeterli olabilir. Örnek bir yaklaşım:

• Cron her 5 dakikada bir çalışsın: */5 * * * *
• curl ile sadece başlık bilgisi alınsın: curl -I -s -o /dev/null -w '%{http_code} %{time_total}' https://example.com
• 200 dışı bir kod veya belirlenen gecikme eşiği aşılırsa webhook veya e-posta gönderilsin.

Bu yöntem düşük kaynak tüketir ve hızlıdır; ancak JavaScript ile oluşturulan içerikleri veya sayfa içi reklam/yönlendirmeleri doğrulamak zordur.

2) Bot tabanlı doğrulama (Puppeteer, Playwright)

JavaScript ile oluşturulan sayfalar, reklam yerleşimleri veya dinamik yönlendirmeler için headless browser kullanmak gerekir. Tipik adımlar:

• Sayfayı aç, network idle bekle veya belirli bir selector bekle.
• İçerikten kritik bir metin veya yönlendirme zincirini doğrula.
• Ekran görüntüsü al ve isteğe bağlı olarak görsel farklılık tespiti uygula.

Headless tarayıcılar daha fazla kaynak tüketir; bu yüzden istek sıklığını ve eşzamanlı iş sayısını dikkatle belirleyin.

3) Bulut fonksiyonları ve SaaS

Küçük ekipler için bazı görevler AWS Lambda, Azure Functions veya yönetilen uptime servisleriyle kolayca dışarıya taşınabilir. Avantajlar: ölçeklenebilirlik, hazır eklentiler (SMS, Slack), bakım kolaylığı. Dezavantaj: maliyet ve kontrol sınırları.

Zamanlama ve frekans stratejileri

Farklı içerik türleri için farklı izleme frekansları önerilir (örnek):

• Kritik işlem sayfaları (ödeme/teklif) — 1–5 dakika aralığı.
• Ana sayfa ve sık kullanılan yönlendirmeler — 5–15 dakika.
• Binlerce bağlı link içeren katalog sayfaları — saatlik veya günlük toplu kontroller.

Frekans belirlerken hedef sunucuya artan yük ve olası rate-limit davranışını hesaba katın. Aynı hedefe paralel çok sayıda istek göndermek yerine sıralama (queue) ve concurrency sınırı kullanın.

Uyarı (alert) sistemi tasarımı

Yanlış alarm (alert fatigue) azaltılmalı, doğru kişiye ve doğru zamanda ulaşılmalıdır. Temel bileşenler:

• Eşikler: Tek bir 500 hatası mı yoksa ardışık 3 başarısız kontrol mü uyarı oluşturacak?
• Deduplication: Aynı sorun için kısa süre içinde tekrar uyarı göndermeyin (örnek sessiz periyot 10–30 dakika).
• Escalation: İlk uyarı e-posta, devam ederse SMS/telefon; kritik durumlarda operasyon ekibini haberdar etme.
• Kanallar: E-posta, Slack/Teams webhook, SMS sağlayıcıları, PagerDuty veya benzeri sistemler.

Uyarı yükünü azaltmak için eşik değerleri, regresyon toleransları ve otomatik yeniden deneme politikaları belirleyin.

Veri modeli ve saklama

Her kontrol için temel alanlar:

• timestamp, url, http_code, latency_ms
• response_hash (içerik değişimini tespit için)
• screenshot_url (opsiyonel)
• worker_id, deneme_sayısı, hata_mesajı

İzleme verileri zaman serisi veritabanında (InfluxDB, Prometheus + grafana veya ilişkisel DB) saklanabilir. Kısa süreli detaylı loglar, uzun süreli özet metriklere dönüştürülmelidir.

Ölçeklenebilirlik ve sağlamlık

• Queue tabanlı işleme: Redis, RabbitMQ veya SQS ile iş kuyruğu kurun; worker sayısını kolayca arttırın.
• Backoff ve retry: 429/5xx durumları için exponential backoff kullanın.
• Per-host rate limit: Aynı hosta eşzamanlı istek sayısını sınırlayın.
• Circuit breaker: Aynı endpoint sürekli başarısızsa kısa süreli devre kesme mekanizması ekleyin.

Güvenlik, izinler ve etik

Bağlantı denetimi yaparken şunlara dikkat edin:

• Tarama yapmadan önce hedef sitenin kullanım koşullarını ve robots.txt içeriğini kontrol edin.
• Kullanıcı kimlik bilgisi gerektiren sayfalar için ilgili izin ve tokenleri güvenli bir şekilde yönetin (secrets manager kullanın).
• Toplanan veriler içinde kişisel bilgi varsa uygun saklama ve erişim politikaları uygulayın.

Test ve devreye alma

Canlıya geçmeden önce:

• Staging ortamında farklı hata senaryolarını simüle edin (Timeout, 500, 302 zinciri).
• Alert akışını test edin: ilk uyarı, tekrar uyarı, eskalasyon yolları.
• Load testi ile worker ve kuyruk performansını doğrulayın.

Adım adım uygulama planı (pratik)

1. Kontrol edilecek URL envanterini çıkarın ve önceliklendirin.
2. Basit cron + curl kontrolünü kurun ve 1–2 hedefte çalıştırın.
3. Uyarı webhook'unu veya e-posta entegrasyonunu ekleyin; test uyarıları gönderin.
4. JS ağırlıklı sayfalar için Playwright/Puppeteer tabanlı doğrulamayı ekleyin.
5. Loglama ve metrik toplama (latency, hata oranı) kurun ve grafana vb. ile dashboard oluşturun.
6. Queue ve worker mimarisine taşıyarak ölçeklendirin; per-host rate limitleri uygulayın.
7. Runbook ve on-call talimatlarını hazırlayın.
8. Düzenli inceleme planı oluşturun: haftalık kırık link raporu ve aylık mimari gözden geçirme.

Kontrol Listesi (Quick Checklist)

• URL envanteri hazır.
• Cron veya scheduler çalışıyor.
• Başarısızlık durumunda çalışan uyarı kanalları test edildi.
• Headless doğrulamalar kritik sayfalar için etkin.
• Rate limit ve retry politikaları tanımlı.
• Gizli anahtarlar güvenli bir yerde saklanıyor.
• Runbook ve sorumluluklar belirlenmiş.

Sonuç

Bağlantı Kontrol Otomasyonu, doğru mimari ve disiplinli izleme ile web sitenizin güvenilirliğini ve gelir performansını korur. Basitten başlayıp zamanla bot tabanlı doğrulamaya, ardından queue tabanlı ölçeklenmeye geçmek genellikle en az riskli yaklaşımdır. Uyarı tasarımına ve yanlış alarmları azaltmaya odaklanmak operasyonel yükü düşürecektir.

Eğer teknik bir şablon veya örnek cron hattı, Playwright akışı ya da alert payload örneği isterseniz, kullandığınız altyapıyı (Linux/Windows, tercih ettiğiniz bulut sağlayıcı, programlama dili) belirtin; buna göre daha somut bir adım seti hazırlayabilirim.