Büyük dil modelleri neden yanlış biliyor gibi davranır

Büyük dil modeli (LLM) bir soruya emin bir tonla yanlış cevap verebilir. Bu, bilerek yalan söylemek değildir. Model metin üretim makinesidir: bir sonraki token’ı olasılık dağılımına göre seçer. Doğruluk birincil eğitim hedefi değildir.

Göreli olarak güvenilir alanlar: çeviri, özetleme, format dönüştürme, basit ayrıştırma, stack trace açıklama. Yanlışın maliyeti düşük veya hızlı fark edilir.

Yüksek riskli alanlar: tarih, istatistik, hukuk, tıp, projede kullanılmayan bir kütüphanenin API’si. Kaynak ve doğrulama olmadan çıktı kabul edilmemelidir.

İş sürecinde üç kontrol katmanı:

1. RAG (Retrieval-Augmented Generation): modeli kendi dokümanı ve indeksi ile beslemek. Boş sohbet, boş güvene yol açar. 2. Tool use: arama, hesaplama, veritabanı gibi araçlar. Olgu sorularında hafıza yerine araç tercih edilir. 3. Eval: 20–30 gerçek soru-cevap çifti ile regresyon. Model veya prompt güncellenince testler tekrar koşulur.

Hallucination oranı sıfırlanmaz; ürün sınırlarıyla yönetilir. Örnek: chatbot otomatik iade onayı vermez; kod önerisi PR ve review olmadan ana dala girmez.

Doğru bilgi için model yeterli değildir. Veri, araç ve insan onayı içeren bir sistem gerekir.