Üretken Yapay Zeka Nasıl Çalışır: Metin, Görsel ve Kod Üretimi Açıklandı

Çok farklı çıktılar üretmelerine rağmen, metin üreticileri, görsel üreticileri ve kodlama asistanları ortak bir temeli paylaşır: büyük miktarda veriyle eğitilmiş bir sinir ağı istatistiksel desenleri öğrenir, ardından saklanmış bir yanıtı geri getirmek yerine bu desenleri kullanarak yeni içeriği parça parça inşa eder.

Metin üretimi: sonraki belirteci tahmin etmek

IBM'in 28 Mart 2025'te yayımlanan transformer modelleri üzerine teknik açıklayıcı yazısına göre, sohbet botlarının arkasındaki büyük dil modelleri gibi modeller önce metni belirteç (token) denen küçük birimlere ayırır; bunlar tam kelimeler veya kelime parçaları olabilir. Her belirteç, anlamını temsil eden embedding adı verilen sayısal bir vektöre dönüştürülür ve belirtecin cümledeki konumunu kodlamak için ikinci bir vektör eklenir.

Temel mekanizma öz-dikkat (self-attention) mekanizmasıdır: IBM'e göre model, her belirteç için öğrenilmiş üç vektör kullanarak — bir sorgu (query), bir anahtar (key) ve bir değer (value) — girdideki diğer her belirtecin ne kadar ilgili olduğunu hesaplar. Bu, modelin eski mimarilerin yaptığı gibi kelime kelime okumak yerine, metnin herhangi bir yerinden gelen bağlamı aynı anda tartabilmesini sağlar. GPT gibi modellerin arkasındaki mimari olan sadece-kod çözücülü (decoder-only) transformerlar, IBM'in açıkladığına göre ardından metni otoregresif olarak üretir — her seferinde bir belirteç tahmin eder ve bir sonraki belirteci tahmin etmek için bu belirteci geri besler.

Anthropic'in sitesinde 'Büyük bir dil modelinin düşüncelerini izlemek' başlığıyla yayımlanan araştırması, bu sonraki-belirteç sürecinin dışarıdan göründüğünden daha fazla planlama içerebileceğini buldu. Bir deneyde, Claude modeli bir şiir dizesi yazarken, dizenin kalanını yazmadan önce olası bir kafiye kelimesine karşılık gelen içsel özellikleri etkinleştirdi, ardından bu kelimeye ulaşmak için ifadesini ayarladı. Başka bir testte model, çok adımlı bir soruyu — örneğin Dallas'ı içeren eyaletin başkentini belirlemek gibi — doğrudan yanıta atlamak yerine önce 'Texas' için içsel bir temsili etkinleştirip ardından ayrı olarak 'Austin'i bularak yanıtladı, Anthropic'e göre.

Anthropic ayrıca modelin içsel hesaplaması ile bu hesaplamayı kendi açıklaması arasında bir fark buldu: Claude'a bir matematik hesaplamasını nasıl yaptığı sorulduğunda, standart bir yöntem tarif etti, ancak Anthropic'in izlediği içsel süreç, kaba bir tahmini son hanenin ayrı bir şekilde takip edilmesiyle birleştiren farklı, paralel bir yaklaşım kullandı.

Görsel üretimi: gürültüyü adım adım kaldırmak

Google'ın Imagen'i de dahil olmak üzere çoğu modern metinden-görsele araç, metin üretiminin tam tersi yönde çalışan difüzyon modellerini kullanır. Google'ın Imagen araştırma sayfasına göre, sistem dondurulmuş büyük bir dil modeli olan T5-XXL ile başlar; bu model metin istemini, metin modellerinde kullanılan türden sayısal bir temsile (embedding) dönüştürür. Google'ın araştırmacıları, bu metin kodlayıcısının boyutunu büyütmenin, modelin görsel üreten kısmını büyütmekten daha çok görsel kalitesini artırdığını belirtiyor.

Bir difüzyon modeli ardından bu metin embedding'ini alır ve 64x64 piksel boyutunda küçük bir görsel üretir. Bunu, rastgele görsel gürültüden başlayarak ve yinelemeli bir 'gürültü giderme' (denoising) süreci çalıştırarak yapar; Google'ın tanımına göre model, tutarlı bir düşük çözünürlüklü görsel ortaya çıkana kadar metin embedding'inin yönlendirmesiyle tekrar tekrar bir miktar gürültüyü tahmin edip kaldırır. Görsel daha sonra iki ek difüzyon modeli kullanılarak büyütülür; önce 256x256 piksele, ardından 1024x1024 piksele; Google bu kademeyi süper çözünürlük difüzyonu olarak adlandırıyor.

Google'ın araştırma sayfasına göre, modelin metin istemini daha yakından takip edebilmesini sağlamak için Imagen, sınıflandırıcısız yönlendirme (classifier-free guidance) olarak bilinen bir yöntemle birlikte kullanılan 'yeni bir eşikleme difüzyon örnekleyicisi' sunuyor; bu ikisi birlikte çok daha büyük yönlendirme ağırlıklarının kullanılmasını mümkün kılıyor. Google, insan değerlendirmelerinde değerlendiricilerin Imagen'in çıktısını metin istemiyle eşleşme konusunda gerçek referans fotoğraflarla karşılaştırılabilir bulduğunu ve Google'ın oluşturduğu DrawBench adlı bir kıyaslama testinde DALL-E 2 de dahil olmak üzere diğer metinden-görsele sistemlere tercih ettiğini bildirdi.

Kod üretimi: bağlamdan oluşturulan öneriler

GitHub Copilot gibi yapay zeka kodlama asistanları, genel metin için kullanılan aynı transformer tabanlı, sonraki-belirteç tahmini yaklaşımını uygular, ancak özellikle programlama kodu üzerinde eğitilmiş ve bir geliştiricinin çalışma alanına uyarlanmıştır. GitHub'ın kendi belgelerine göre Copilot iki ana modda çalışır: geliştirici yazarken kod öneren, soruları yanıtlayan veya kodu açıklayan 'yardımcı' mod ve bir geliştiricinin bir hedef tanımladığı ve Copilot'un bir görevi tamamlamak için depoyu araştırma, bir plan önerme, dosyaları düzenleme ve araçları çalıştırma gibi birden fazla adımda çalıştığı 'ajan' modu.

GitHub'ın belgeleri, Copilot'un yeteneklerinin depoya özel talimatlar ve harici araç entegrasyonları gibi özelleştirmelere de uzandığını ve bazı özelliklerin eşzamansız çalıştığını, bu da bir kodlama ajanının sürekli denetim olmadan değişiklikler yapabilmesine ve pull request'ler açabilmesine veya güncelleyebilmesine izin verdiğini belirtiyor. GitHub, mevcut belgelerine göre kullanılan her modeli veya bağlamın nasıl seçilip altta yatan modele iletildiğinin tüm teknik ayrıntılarını kamuya açık olarak belirtmiyor.

Üçünün karşılaştırması

Bu üç yaklaşımın tümü eğitim verisine bağlıdır: modelin içsel desenleri, eğitim sırasında maruz kaldığı metin, görsel veya koddan gelir ve çıktısı, herhangi bir tek eğitim örneğinin kopyası olmaktan ziyade bu öğrenilmiş desenler tarafından şekillendirilen yeni üretilmiş bir dizi veya görseldir.