neuron-to-gpt
Tek bir nöronla başlayıp eğitilmiş, karakter düzeyinde bir GPT ile biten öğrenme günlüğü; mimarinin kazançları aşama aşama ölçüldü.
Değerlendirdiğin makineyi tanı
Hiç dil modeli kurmadan, işi dil modellerini değerlendirmek olan biri için bir boşluk kalır. Bu günlük o boşluğu yavaş yoldan kapatır: bir nöron, bir kayıp, bir gradyan; sonra yalnızca standart kütüphaneyle yazılmış bir otomatik türev motoru; PyTorch ancak ondan sonra.
Üçüncü haftadan itibaren her yeni katman, çerçevedeki sürümüne güvenilmeden önce elle yeniden kurulur: sinirsel bigramdan önce bigram sayımları, backward()'dan önce elle geri yayılım, LayerNorm'dan önce özel bir BatchNorm, dikkatten önce nedensel ortalama. 8. hafta modeli, bitmiş referansa bakılmadan önce yazıldı.
Sekiz hafta, ardından ölçülmüş bir karşılaştırma
Altı aşamalı karşılaştırma külliyatı, ayrımı, tohumu ve yineleme bütçesini sabit tutar ve her seferinde tek bir fikir ekler. Bu koşuda her adım iyileşme getirdi; depo, iyileşmenin her yapılandırmada garanti olmadığını açıkça söyler.
Eğitilen modellerin ulaştığı değerler
Sabit CPU bütçesinde, bigramdan tamamlanmış bloğa karakter başına nat.
5.000 güncelleme sonrası son doğrulama NLL'si; örneklenen en iyi kontrol noktası 4.500. adımda 1,4657.
118 karakterlik sözlüğe sahip, 1,9 milyon karakterlik bir Nâzım Hikmet derlemesi. İngilizceye karşı bir sıralama değildir.
İsteğe bağlı bir panel eğitilmiş kontrol noktalarını yükler ve kayıtlı kanıtın yanında metin üretir.
Türkçe külliyat, kullanıcının seçtiği üç PDF'ten, sayfa düzenini gözeten çıkarım ve 243 sayfanın OCR ile kurtarılmasıyla hazırlandı. Ham metinler, PDF'ler ve kontrol noktaları Git'e girmez; yalnızca metrikler, kayıp geçmişleri, grafikler ve örnekler yayımlanır.
4,8 milyon parametre neyi yapar, neyi yapamaz
Shakespeare modelinin ürettiği, düzeltilmemiş bir kesit; alıntı değildir:
KING RICHARD II: Shall I, be made to be exceeding?QUEEN ELIZABETH: My hard will I be?
Model konuşmacı etiketlerini, dize yapısını ve akla yatkın bir söz dağarcığını öğrendi. Anlamı öğrenmedi. Düşük karakter kaybı tutarlı bir yazıyı garanti etmez; depo bunu örneklerin hemen yanında belirtir.
Eğitim amaçlı bir ölçek; öyle de belirtiliyor. Büyük koşular genişliği, derinliği, bağlamı, eğitim bütçesini ve hassasiyeti birlikte değiştirir; bu yüzden bir ablasyon değildir. Kontrollü karşılaştırma altı aşamalı CPU tablosudur ve parametre eşlemeli değildir. Raporlanan GPU kayıpları, dönen geçmiş kayıtlarına karşı iç tutarlılık açısından doğrulandı; bağımsız olarak yeniden değerlendirilmedi. Sıralama, Andrej Karpathy'nin ders serisini izler.