Tencent представила AngelSpec, новый открытый фреймворк на базе PyTorch, предназначенный для обучения черновиков моделей спекулятивного декодирования. Этот унифицированный инструмент охватывает шесть различных архитектур и призван значительно ускорить процесс генерации текста в больших языковых моделях, предлагая инновационные подходы к повышению эффективности.
AngelSpec выделяется интеграцией передовых технологий, среди которых ключевую роль играет DFly — блок-диффузионный драфтер. DFly оснащен гибридным целевым кондиционированием и авторегрессивной головкой со скрытой коррекцией, что позволяет ему более точно и эффективно генерировать предварительные токены. Такой подход критически важен для спекулятивного декодирования, где качество черновика напрямую влияет на общую скорость вывода.
Помимо DFly, AngelSpec включает в себя D-cut, механизм для адаптивного управления бюджетом верификации во время выполнения. Это означает, что фреймворк может динамически настраивать, сколько усилий тратится на проверку сгенерированных черновиков, оптимизируя баланс между скоростью и точностью. Такая гибкость позволяет разработчикам тонко настраивать процесс декодирования под конкретные задачи и аппаратные ограничения.
Результаты тестирования AngelSpec впечатляют. На модели HY3-295B-A21B с восемью тензорными процессорами (TP=8) DFly-8 продемонстрировал ускорение в 1,98–2,40 раза по сравнению с традиционным авторегрессивным декодированием. Это значительное улучшение наблюдалось при различных уровнях параллелизма, от 4 до 64, что подчеркивает масштабируемость и эффективность нового фреймворка Tencent в реальных условиях. Открытие исходного кода AngelSpec открывает новые возможности для исследователей и разработчиков в области ИИ, предоставляя им мощный инструмент для дальнейшего совершенствования больших языковых моделей.
AngelSpec от Tencent является важным шагом в развитии методов спекулятивного декодирования, предлагая комплексное и производительное решение для ускорения работы LLM. Его открытый исходный код способствует дальнейшему развитию сообщества и интеграции этих технологий в более широкий спектр приложений.