karpathy/nanoGPT
github.com
The simplest, fastest repository for training/finetuning medium-sized GPTs.
Описание
Файл train.py примерно на 300 строк воспроизводит GPT-2 (124M) на OpenWebText — около 4 суток на узле 8xA100 40GB. Код намеренно плоский и читаемый, легко правится под свои задачи.
Характеристики
| Тип | Курс |
| Категория | Обучение / LLM с нуля |
| Цена | открытый код |
| Платформа | Своё развёртывание |
| Системы | исходный код |
| Для кого | Разработчикам, которые учатся обучать трансформеры на собственном железе. |
| Язык сайта | en |
| Вендор | Andrej Karpathy |
| GitHub | karpathy/nanoGPT |
| ★ Звёзд | 62 552 |