benchfck
Makine-durumu görevleri için bir üreteç ve kesin koşum: puanlama yolundaki hiçbir adım öğrenilmiş bir hakeme bağlı değil.
cl100k_baseKendi hakemiyle oynanamayan bir kıyaslama
Akıl yürütme kıyaslamalarının çoğu sabit bir veri seti yayımlar ve cevapları başka bir modelle puanlar. İki tercih de sızdırır: veri seti zamanla eğitim külliyatına karışır, hakem ise kendi hatalarını getirir. benchfck ikisini de kaldırır. Her öğeyi bir tohumdan üretir; yürütmeden puanlamaya kadar her adım, sabitlenmiş bir sanal makine üzerinde kesin aritmetiktir.
Bu tercihin bedeli kapsamdır. Kontrollü makine-durumu akıl yürütmesini ölçer, başka bir şeyi değil. Genel yetenek ölçtüğü iddiasında değildir.
Tohumdan puana
Bir aday program, ancak tipli ara temsil ile kodlamalar 256 olası girdi bağlamasının her birinde aynı sonucu verirse kabul edilir. Uyuşmayan her şey, bir model görmeden önce elenir.
Aynı programın dört basamağı
Kabul edilen her program dört komut kodlamasına dönüştürülür. Hepsi aynı davranışı çok farklı yüzey biçimleriyle anlatır; bu da makine durumu üzerine akıl yürüten bir modeli, tanıdık Brainfuck kalıplarını eşleştiren bir modelden ayırır.
- E0 — örtük işaretçi-göreli adreslemeli kanonik Brainfuck.
- E1 — öğe başına sembol permütasyonu ve işlem açıklaması; ezberlenmiş simgeler işe yaramaz hale gelir.
- E2 — koşu uzunluğu taşıyıcılı, sıkışık açık işlemler; E0'ın 3,356 katı token.
- E3 — ayrıntılı açık işlemler; E0'ın 7,072 katı.
Üretilen bir öğenin geçmesi gerekenler
Popülasyon düzeyindeki eşikler herhangi bir model çalıştırılmadan önce yayımlanır; böylece kabul ölçütleri sonuçlar görüldükten sonra ayarlanamaz.
Yürütme gerçekten iş yapmalı, adımları boşa geçmemeli.
Küçük girdi değişimleri makine durumuna yayılmalı.
Ezberlenmiş kalıplara indirgenen programlar reddedilir.
51 kaba profil kovasında saptanan benzersiz anlamsal fonksiyon.
10.000 programlık popülasyon üzerinde özellik testleri
Dört dengeli ve örtüşmeyen CI işi, 10.000 programlık popülasyonu böler; böylece bir yapısal ailedeki gerileme diğerlerinin arkasına saklanamaz. GitHub Actions CI ve CodeQL çalıştırır; yerel kontrol betikleri aynı denetimleri çevrimdışı tekrarlar.
Bu bir v0.4.0-alfa mühendislik adayı. Hiçbir model sonucu üretilmedi ve bir liderlik tablosu yok. Sürüm kapsamı arity 1; arity 2 v0.5'e ertelendi. Genel üreteç, tasarım gereği kurucu ailesini açığa vurur; bu yüzden sekiz genel kurucu, saptanan uzayın dar bir alt kümesidir ve özel puanlama dönemi henüz başlatılmadı.