Unsloth AI

Описание

Unsloth AI — это современный open-source фреймворк, созданный для радикального ускорения и упрощения донастройки больших языковых моделей (LLM), таких как Llama-3, Mistral, Phi-3 и Gemma. За счет ручной оптимизации ресурсоемких математических операций и GPU-ядра Unsloth достигает до 10 раз более быстрой тренировки на одной GPU и до 32 раз на многографических установках по сравнению с традиционными методами, такими как Flash Attention 2. Поддерживает GPU NVIDIA от Tesla T4 до H100, а также переносим на AMD и Intel GPU. Unsloth снижает потребление памяти примерно на 70%, что позволяет дообучать модели на более скромном оборудовании, например, в Google Colab или на персональных ноутбуках. Платформа предлагает простой API, обширную документацию и бесшовную интеграцию с популярными инструментами и движками вывода, делая её доступной для разработчиков, исследователей и AI-энтузиастов.