Büyük Dil Modelleri Nasıl Çalışır? Token, Bağlam Penceresi ve Sıcaklık

Büyük dil modeli (LLM) nedir?

Büyük dil modelleri, çok büyük metin koleksiyonları üzerinde eğitilmiş ve bir metnin devamında gelmesi en olası parçayı tahmin eden yapay sinir ağlarıdır. Soru sorduğunuzda model yanıtı tek seferde "bilmez"; yanıtı parça parça, her adımda bir sonraki parçayı seçerek üretir. Bu basit fikir; özetleme, çeviri, kod yazma ve soru yanıtlama gibi çok farklı yetenekleri ortaya çıkarır.

Token: modelin gördüğü birim

Modeller metni harf ya da kelime olarak değil token denen parçalar olarak işler. Bir token bazen bir kelime, bazen kelimenin bir parçası, bazen bir noktalama işaretidir. Örneğin "kitaplarımızdan" kelimesi birkaç tokene bölünebilir. Türkçe gibi eklemeli dillerde aynı anlam İngilizceye göre çoğu zaman daha fazla token tutar; bu, hem maliyete hem de sığdırabileceğiniz metin miktarına yansır.

Token sayısı neden önemli?

• API kullanımı genellikle girdi ve çıktı token sayısına göre ücretlendirilir.
• Modelin bir seferde işleyebileceği metin miktarı token cinsinden sınırlıdır.

Bağlam penceresi

Bağlam penceresi, modelin tek bir istekte "görebildiği" toplam token sayısıdır: sistem talimatı, konuşma geçmişi, eklediğiniz belgeler ve üretilen yanıt bu pencereyi paylaşır. Pencere dolduğunda eski bilgiler dışarıda kalır ya da istek reddedilir. Bu yüzden uzun sohbetlerde model baştaki ayrıntıyı "unutmuş" gibi görünebilir.

Sıcaklık (temperature): ne kadar yaratıcı?

Model her adımda olası tokenlere bir puan verir; bu puanlar olasılığa çevrilir ve bir token seçilir. Sıcaklık bu seçimin ne kadar rastgele olacağını belirler. Aşağıdaki küçük Python programı aynı puanların farklı sıcaklıklarda nasıl olasılığa dönüştüğünü gösterir:

import math

def olasiliklar(puanlar, sicaklik=1.0):
    """Softmax: puanları sıcaklığa göre olasılığa çevirir."""
    olcekli = [p / sicaklik for p in puanlar]
    en_buyuk = max(olcekli)
    usler = [math.exp(p - en_buyuk) for p in olcekli]
    toplam = sum(usler)
    return [u / toplam for u in usler]

adaylar = ["kahve", "çay", "su", "kola"]
puanlar = [3.2, 2.9, 1.5, 0.4]  # "Sabah ilk iş bir fincan ..." cümlesinin devamı

for t in (0.2, 1.0, 1.8):
    oranlar = olasiliklar(puanlar, t)
    print(f"sıcaklık {t}: " + ", ".join(f"{a} %{o * 100:.0f}" for a, o in zip(adaylar, oranlar)))

Çıktıda düşük sıcaklıkta (0.2) olasılık büyük ölçüde "kahve"de toplanır (%80'in üstü); sıcaklık yükseldikçe (1.8) "su" ve "kola"nın payı belirgin biçimde artar ve model daha şaşırtıcı seçimler yapar. Pratik kural:

• Kod, veri çıkarma ve sınıflandırma gibi tutarlılık gereken işlerde düşük sıcaklık.
• Beyin fırtınası, slogan ve hikâye gibi yaratıcı işlerde daha yüksek sıcaklık.

Halüsinasyon: neden emin görünen yanlışlar?

Model "en olası devamı" ürettiği için, bilmediği bir konuda da akıcı ve emin görünen ama yanlış bir yanıt üretebilir. Buna halüsinasyon denir. Kaynak, tarih, sürüm numarası ve istatistik gibi bilgileri mutlaka doğrulayın; modele "emin değilsen belirt" demek ve ilgili belgeyi bağlam olarak vermek bu riski azaltır.

İpuçları

• Uzun belgeleri parçalara bölün ya da yalnız ilgili bölümü verin; bağlam penceresini verimli kullanın.
• Önemli talimatları kısa ve net yazın; gereksiz metin token harcar.
• Aynı soruyu birkaç kez sorup yanıtların tutarlılığına bakmak, belirsiz konuları ortaya çıkarır.

Sık yapılan hatalar

• Modelin her şeyi bildiğini varsaymak; eğitim verisinin bir kesim tarihi vardır.
• Çok uzun sohbetlerde baştaki talimatların hâlâ geçerli olduğunu düşünmek.
• Yaratıcı olmayan işlerde yüksek sıcaklık kullanıp tutarsız sonuçlara şaşırmak.

Özet

Büyük dil modelleri metni token token tahmin ederek üretir; bağlam penceresi bir seferde görebildiği bilgiyi, sıcaklık ise seçimlerin ne kadar rastgele olacağını belirler. Bu üç kavramı bilmek daha iyi prompt yazmanın ve sonuçları doğru yorumlamanın temelidir. Sonraki adım olarak RAG ile modele kendi belgelerinizi nasıl öğreteceğinizi inceleyin.