EatBetter
Bir beslenme uygulamasında yirmi beş günlük sözleşmeli yapay zekâ mühendisliği; modele, kataloğa ya da asistana yapılan her değişiklik bir ölçümle hak edildi.
Önce ölç, sonra değiştir
İş başladığında, üretimdeki öğün analizini şirketin kendi verisiyle ölçen sürümlü bir yol yoktu. Bir modelin ya da istemin ötekinden daha iyi olup olmadığı kanıtla söylenemiyordu. Yemek kataloğu model üretimi yazımlarla dolmuştu ve kusurları içeri alan yol hâlâ açıktı.
Yirmi beş gün sonra, depoyu alan herkesin koşabildiği bir ölçüm platformu, kaynağı kapatılmış temiz bir katalog, kullanıcı düzeltmelerini kaydeden ve değerlendiren bir hat ve canlı çağrıyla birebir örtüşen bir ince ayar veri seti vardı. Bu sayfa her birinin nasıl kurulduğunu ve ölçümlerin ne dediğini anlatır; “dur” diyenler dahil.
Üretim örnekleminden yayın kararına
Etiketleri üç modelli bir panel önerir, son kararı insan verir; model çıktısı hiçbir zaman doğru kabul edilmez ve etiket önerisine katılan bir model aday olarak değerlendirilemez. Her karşılaştırma aynı vakalarda eşlenir ve kullanıcıya göre yeniden örneklenir; çünkü bir kişinin öğünleri birbirinden bağımsız gözlemler değildir.
Platformla verilen kararlar
Canlı modele karşı ΔF1; %95 GA [−0,023, +0,012], yaklaşık yedi kat fiyata. Devreden çıkarıldı.
Yalın modele karşı kaybedilen karşılaştırma; 12 kat maliyet ve 7 kat gecikmeyle. Kapatıldı.
En iyi istem varyantının görünen kazancının, daha iyi tanımadan değil etiket ayrıntı düzeyinden gelen payı.
Elle etiketlenmiş 80 öğünde beş hakem adayı arasındaki en yüksek uyum; mevcut kural yolu 0,66 aldı.
İkinci haftada çıkarılan hata haritası, en iyi istemin kazancının üçte ikisinin hiç de bir görme iyileşmesi olmadığını gösterdi. “Daha yüksek skor” ile “daha iyi sistem”i ayıran bulgu budur; sonraki her hedefin nasıl yazıldığını değiştirdi.
Üretime giden tek izinli yol
Canlı veritabanına yalnız insan bağlandı. Her değişiklik salt okunur bir dışa aktarımdan yerelde planlandı, geri alınan bir işlem içinde prova edildi ve yalnızca etkilenen satır sayısı öngörüyle tuttuğunda yazıldı. Kaynaktaki yazma kapısı temizlikten önce canlıya alındı; böylece temizlenen satırlar geri gelemedi.
Canlı veritabanında ne değişti
Yüzdeler, temizlikten önce alınan 387.668 satırlık katalog dışa aktarımına göredir. Silme bir sayı hedefine göre değil, içerik grubuna göre yapıldı: tek seferlik bileşimler, sayı ekli kopyalar ve bozuk slug'lar silindi; aranabilir genel adlar yalnızca yayından çekildi.
Kataloğun %23,0'ı; her satır geri alma dosyasından kurtarılabilir.
%23,4; veritabanında tutuldu, yayından çıkarıldı.
%75,4: modelin uydurduğu popülerlik gerçek kullanımla değiştirildi.
Üç günde satır işlemi: zincirler düzleştirildi, yanlış birleştirmeler ayrıldı, çöp markalar boşaltıldı.
21 Eylül'de kopya birleştirme betiğinin ilk sürümü birleştirmenin iki alanından yalnızca birini yazdı ve 1.845 yönlendirmeyi kırdı. Aynı gün canlıdaki güncel değerlerle onarıldı, bir sağlık sorgusuyla doğrulandı ve betiğe kök kalite süzgeci eklendi. Bir başka adımda ayrı ROLLBACK provası atlandı; sayı öngörüyle birebir tuttu ve sapma kayda geçti. İkisi de işin kayıtlarında duruyor; olması gereken yer de orası.
Gerçek hatalardan kurulan bir karne
Uygulama içi asistan her kullanıcı için bir bellek tutar. Gerçek bir profile otuzdan fazla sentetik bellek kaydı ekleyen bir stres testinde, eski bir alerji kaydı cevaba ulaşmaz hâle geldi. Bunu ön kayıtlı bir karne ölçtü: 400 dondurulmuş vaka, 6.000 üretim ve iki hakem modeli ile iki sıralama üzerinden 24.000 hakem slotu.
Alerji, ilaç ve hastalık kayıtlarını istemde öne alan düzeltme, eşlenmiş veto oranını 172 çiftte %96,4'ten %2,1'e indirdi (Holm düzeltmeli p = 0,0001). Kabul kapısını geçen, on aday arasındaki tek düzeltme oldu ve yeniden dağıtım gerektirmeden açılan bir bayrağın arkasında teslim edildi.
Ders bir gün önce çıkmıştı. 24 varyantlı bir turnuva doğrulanmış bir iyileşme bulamadı; çünkü kontrol kolu zaten %97–98'deydi ve test seti asıl mekanizmayı hiç zorlamıyordu. Kazancı bulan karne, yalnızca mevcut sürümün gerçekten hata yaptığı vakalardan kuruldu ve yaklaşık dörtte bir maliyete çıktı. Güvenlik sonuçları tavsiye niteliğindedir: ekipte diyetisyen yoktu.
Yanında teslim edilen veri ve hatlar
Üç modelle bağımsız kontrol edilen yemek. 215.584 yemeklik düzeltme paketi satır başına “eski değer hâlâ buysa yaz” koruması ve geri alma SQL'i taşır; canlı dışa aktarımın yerel kopyasında prova edildi.
Üç uç noktalı bir havuz üzerinde, bütçe tavanlı kalıcı işler ve AIMD hız kontrolü; sağlayıcı kotasının tavanında. Yaklaşık 250 bin yemek görseli (tahmini).
Qwen3-VL için sürümlü kayıt: mühürlü setlere karşı sızıntı denetimi, kişisel veri taraması, tekrar temizliği ve kullanıcıya göre bölme; 638.493 kayıtta 0 şablon ya da tokenizer hatası.
Altı dilde, 15 aracın tamamını kapsayan sentetik asistan sohbeti; %89'u bütün kod kontrollerinden geçti. Gerçek kullanıcı sohbeti kullanılmadı.
Canlı sözleşmeyle etiketlenen gerçek öğün notu; öncesinde altı kollu bir öğretmen kıyaslaması etiket kalitesini maliyete karşı tarttı.
Kaybolan kullanıcı düzeltmeleri artık kaydediliyor ve modelin ilk cevabı korunuyor; kişisel alışkanlıklar ve harcama tavanlı LLM hakemi bayrak arkasında.
1 Ekim'deki devirde besin değeri paketi onaylıydı ve düşük trafikte yazılmayı bekliyordu, güvenlik düzeltmesi bayrağının açılmasını bekliyordu, görsel toplamı ise iş tablosundan doğrulanması gereken bir tahmindi.
Kanıtla durdurulanlar
Bir ölçümün ya da incelemenin sonlandırdığı iş, yayına çıkan işle aynı ağırlıkta listelenir. Çoğu, sonraki işin yönünü belirledi.
- Aday tanıma hattı. Dört karşılaştırmanın dördünde yalın modelden kötü; 12 kat maliyetle. Kapatıldı.
- İstem modülü seti. Üç tekrarda da anlamlı çıkan +0,04 F1, kullanıcıya görünür bir fayda için fazla küçük bulundu. PR açılmadan arşivlendi.
- Daha pahalı öğretmen adayı. Canlı modelden %9 kötü, 20 kat pahalı. Canlı taban çizgisi korundu.
- Düzeltme döngüsü, ilk tasarım. 20 commit ve 724 test; incelemede reddedildi: kişisel ipucu yalnızca nota bakıyordu, oysa taramaların yarısı fotoğraflıydı. İki gün sonra birleşen, birbiriyle çakışmayan üç küçük PR olarak yeniden kuruldu.
- 24 varyantlı turnuva. Doğrulanmış bir iyileşme yok. Ölçüm düzeni, iyileşmeyi bulan karnede yeniden kullanıldı.
Tek mühendis, çok ajan, değişmez kurallar
İş, birden çok yapay zekâ kodlama ajanını paralel yöneten tek bir mühendisle yürüdü. Kararlar, kurallar ve üretime dokunan her adım insanda kaldı; ajanlar 94 yazılı görev tanımıyla, sınırlı yetkiyle ve her biri kendi worktree'sinde çalıştı.
- Canlı veritabanına yalnız insan yazar: önce ROLLBACK ile prova, sonra COMMIT, her zaman bir geri alma dosyasıyla.
- Davranış değişiklikleri, varsayılanı bugünkü davranış olan bir bayrağın arkasındadır; geri dönüş dağıtım gerektirmez.
- PR'lar tasarım gereği çakışmasızdır; ana dallara ve birbirlerine karşı merge-tree matrisiyle denetlenir.
- PR açılmadan önce çok ajanlı karşıt inceleme: tek bir değişiklikte 44 ajan, 19 doğrulanmış bulgu üretti.
- Sonuç diye öne sürülen her şey için mutasyon testi, ön kayıt, Holm düzeltmesi ve kullanıcı kümeli bootstrap.
Devir; karar kayıtları, günlük notlar ve her çıktıyı SHA-256 özetiyle listeleyen bir teslim tutanağından oluştu.
Müşteri işi. Depolar ve veri özeldir; bu yüzden bu sayfadaki hiçbir şey dışarıya bağlanmaz ve ürünün iç yapısı yalnızca yöntemin gerektirdiği kadar anlatılır. Sayılar, işin 30 Eylül 2026 tarihli kendi kayıtlarından aktarılmıştır; teslim edilmiş ama devir anında henüz canlıya alınmamış kalemler öyle belirtilmiştir.