ChatGPT'nizi 50 Dolara Nasıl Eğitirsiniz?

ÖZET nanochat, Andrej Karpathy'nin açık kaynaklı LLM eğitim çerçevesidir ve yaklaşık 50 dolar maliyetle, 2 saatten kısa sürede GPT-2 seviyesinde bir sohbet robotu eğitebilmenizi sağlar. Proje, tek bir 8xH100 GPU düğümünde, ~500 satırlık çekirdek kodla çalışır ve tüm hiperparametreleri otomatik optimize etmek için yalnızca bir yapılandırma parametresine ( --depth ) odaklanır. Mevcut kayıtlar, 1.65 saatte 0.2626 CORE puanına ulaşarak OpenAI'ın 2019'da 43.000 dolara ve 168 saatte tamamladığı GPT-2 eğitimini geride bırakıyor.