t-tech/flex-sae

Наша команда вернулась с EMNLP 2025, на которой у нас было принято две статьи 🐫 Первая – Steering LLM Reasoning Through Bias-Only Adaptation про то, как можно улучшать reasoning в LLM при помощи минимальных добавок (значительно меньших, чем LoRA и прочие). Небольшой спойлер, который можно найти в репозитории с кодом статьи – это также открывает новые возможности для интерпретации reasoning моделей. Вторая – Train One Sparse Autoencoder Across Multiple Sparsity Budgets to Preserve Interpretability and Accuracy посвящена новому методу обучения Sparse Autoencoders, для которого теперь можно контроллировать степень разреженности пространства фичей после обучения. Для этого мы также опубликовали triton кернелы, чтобы все могли обучать модель нашим методом быстро, доступно как на github , так и на hugging face .