Компания Liquid AI совершила значительный прорыв в области искусственного интеллекта, представив свою новую модель LFM2.5-2.6B. Этот агентный ИИ-модель, разработанная для работы непосредственно на устройстве, способна самостоятельно планировать действия, вызывать инструменты и выполнять многошаговые задачи без необходимости обращения к облачным сервисам. Это открывает новые горизонты для автономных приложений и значительно повышает конфиденциальность и скорость обработки данных.
LFM2.5-2.6B является компактной, но мощной моделью с 2.69 миллиардами параметров. Её архитектура включает 22 блока коротких свёрток с двойными вентилями и 8 блоков GQA, распределённых по 30 слоям. Такая структура позволяет модели эффективно обрабатывать информацию. Одной из ключевых особенностей является впечатляющее окно контекста в 131 072 токена, что позволяет модели удерживать в памяти значительный объём информации для выполнения сложных задач.
Производительность модели также впечатляет: LFM2.5-2.6B способна декодировать до 220 токенов в секунду на чипе M5 Max, потребляя при этом менее 2.5 ГБ оперативной памяти. Это делает её идеальным решением для интеграции в мобильные устройства, ноутбуки и другие периферийные устройства, где ресурсы ограничены. Возможность работы полностью на устройстве минимизирует задержки и зависимость от сетевого соединения, что критически важно для агентных систем.
В духе открытости и содействия развитию ИИ-сообщества, Liquid AI предоставила открытые веса модели. Они доступны в популярных форматах GGUF, MLX и ONNX, что обеспечивает широкую совместимость и позволяет разработчикам легко интегрировать LFM2.5-2.6B в свои проекты, экспериментировать с ней и адаптировать под специфические нужды. Это решение значительно ускорит инновации и позволит сообществу создавать новые приложения на базе этой передовой технологии.
Выпуск LFM2.5-2.6B от Liquid AI знаменует собой важный шаг к созданию более автономных и эффективных ИИ-агентов, работающих непосредственно на пользовательских устройствах. Эта модель не только демонстрирует впечатляющие технические характеристики, но и открывает двери для нового поколения приложений, которые смогут выполнять сложные задачи с высокой скоростью и независимостью от внешних ресурсов, делая искусственный интеллект ещё более доступным и персонализированным.
Подробнее: marktechpost.com