Pixel LLM
Dil modeli inşa etmek üzerine bir oyun: veri toplamadan lansmana on aşama; yukarı akıştaki kararlar final model kartına kadar taşınır.
Hat, oyunun kendisi
Çoğu insan bir dil modeliyle bir sohbet kutusu olarak tanışır. Nasıl davranacağını belirleyen her şey ondan önce olmuştur: hangi verinin toplandığı, neyin süzüldüğü, metnin tokenlara nasıl bölündüğü, ağın ne kadar büyük olduğu, neyle ödüllendirildiği.
Pixel LLM bu on aşamayı oynanabilir kılar ve daha da önemlisi birbirine bağlar. İkinci aşamada özensiz temizlenen bir külliyat, ön eğitimde daha gürültülü örüntüler ve değerlendirmede sorulara bulanık bir bakış üretir. Küçük bir külliyat büyük bir mimariyi besleyemez. Oyuncu hattı, sonuçlarıyla yaşayarak öğrenir.
On aşama, tek model kartı
Aşamalar birbirini bilmez. Her biri modelin profilini alır, doğrulanmış bir sonuç döndürür ve koşu denetleyicisi bunu işler. Birinci aşamadaki bir kararın onuncu aşamada hâlâ önem taşımasını sağlayan şey bu sözleşmedir.
Bir koşu nasıl biçimlenir
Veri, temizleme, tokenizer, mimari, ön eğitim, değerlendirme, SFT, RLHF, kırmızı takım, lansman.
Intern doğru ama sade, Researcher gerçek gerilimleri ekler, Frontier gerçek pratiğe çok yakındır.
Yeniden oynanacak kadar kısa; farklı bir karar aynı akşam denenebilir.
Koşunun biriktirdiği stat ve etiketlerden üretilir; her aşama en az üç arketipten biriyle kapanır.
Motor olmadan çalışan oyun mantığı
Kurallar, formüller ve ekonomi, sahne bağımlılığı olmayan, motordan bağımsız kodda durur; böylece oyun açılmadan birim testi yapılabilir ve denge ayarlanabilir. Sahneler yalnızca sunumu ve girdiyi yönetir.
- Denge değerleri kodda değil, yüklenirken şemaya karşı doğrulanan JSON tablolarında durur.
- Her aşama tek bir temel sözleşmeyi genişletir ve kendi sınırında kendini doğrulayan bir sonuç döndürür.
- Kayıtlar atomik yazılır; otomatik yedek ve sürüm geçiş kancası vardır.
- Bütün oyuncu metinleri ilk günden çeviri anahtarlarından geçer; önce İngilizce.
Fragman ve bir dakikalık oynanış
Güncel iç derlemeden çekildi.
Geçici bir adla geliştiriliyor. İç web ve Windows derlemeleri var, sırada dış oyuncu testi bulunuyor ve yayında bir mağaza sayfası yok. Depo özeldir; bu yüzden buradaki hiçbir şey dışarıya bağlanmaz. Oyun hattı öğretir; gerçek bir model eğitmez.