Bir Yapay Zeka Gün Boyu Sunucularda Ne Yapıyor?

ChatGPT'ye "Merhaba" yazdığınızda, perde arkasında milyarlarca hesaplama gerçekleşiyor. Bu yazıda, bir AI'ın günlük hayatına dalıyoruz.

Sabah 00:00 - Gece Vardiyası

Sürekli Uyanık

Yapay zeka modelleri uyumaz. 7/24 çalışır. Bir ChatGPT örneği düşünün:

• Saniyede: ~10.000 istek
• Dakikada: ~600.000 istek
• Günde: ~800 milyon istek

GPU'lar Çalışıyor

Her istek için binlerce GPU aynı anda hesaplama yapıyor:

Sabah 06:00 - Yoğunluk Başlıyor

Dünya Uyanıyor

Zaman dilimlerine göre yük değişiyor:

1. Asya uyanır: Çin, Japonya, Hindistan
2. Avrupa uyanır: Trafik 2x artar
3. Amerika uyanır: Zirve yük

Load Balancing

İstekler coğrafi olarak en yakın veri merkezine yönlendirilir:

• ABD: Virginia, Oregon, Texas
• Avrupa: İrlanda, Hollanda
• Asya: Singapur, Japonya

Öğlen 12:00 - Bir İsteğin Anatomisi

Siz "Merhaba" Yazıyorsunuz

İşte sonraki 500 milisaniyede olanlar:

1. İstek sunucuya ulaşır (50ms)
2. Tokenization: "Merhaba" → [15339] (5ms)
3. Embedding: Token → 12288 boyutlu vektör (10ms)
4. 96 transformer katmanından geçiş (300ms)
5. Çıktı token'ı seçimi (50ms)
6. Detokenization: [15339] → "Merhaba" (5ms)
7. Yanıt gönderilir (50ms)

Her Katmanda Ne Oluyor?

Her transformer katmanı:

1. Self-Attention: "Bu kelime diğerleriyle nasıl ilişkili?"
2. Feed-Forward: Non-linear dönüşümler
3. Normalization: Değerleri dengeler

Toplam parametre: 175 milyar (GPT-3.5) - 1.7 trilyon (GPT-4 tahminli)

Öğleden Sonra 15:00 - Bellek Yönetimi

Context Window

Her konuşma bir "bağlam penceresi" içinde tutulur:

KV Cache

Önceki hesaplamaları tekrar yapmamak için:

• Her token için Key-Value çiftleri saklanır
• Bu cache GB'larca bellek tüketir
• Uzun konuşmalarda yönetimi zorlaşır

Akşam 18:00 - Enerji Tüketimi

Elektrik Faturası

Bir büyük dil modeli günde ne kadar elektrik tüketiyor?

Karbon Ayak İzi

• Bir ChatGPT sorgusu: ~4.3g CO2
• Bir Google araması: ~0.2g CO2

Gece 21:00 - Bakım ve Güncelleme

Model Güncellemeleri

Yeni modeller nasıl devreye alınır?

1. Canary Deployment: %1 trafiğe yeni model
2. A/B Test: Kalite karşılaştırması
3. Gradual Rollout: Kademeli geçiş
4. Rollback Hazırlığı: Sorun olursa geri dön

Güvenlik Taramaları

• Prompt injection denemeleri tespit edilir
• Jailbreak girişimleri loglanır
• Zararlı çıktılar filtrelenir

Gece 23:59 - İstatistikler

Günün Özeti

Tipik bir günde:

• 800M+ istek işlendi
• 50TB+ veri aktarıldı
• 100.000 kWh elektrik tüketildi
• $150.000+ operasyonel maliyet

Sonuç

Bir yapay zeka için "sıradan" bir gün:

• Milyonlarca insanla sohbet
• Milyarlarca hesaplama
• Megawatt'larca elektrik
• Saniyeler içinde yanıt

Ve yarın aynısı tekrar başlıyor. Uyku yok, mola yok, sadece hesaplama var.