Perplexity AI представила WANDR, новый открытый бенчмарк, предназначенный для тщательной оценки исследовательских агентов. Этот инструмент призван проверить способность ИИ-систем проводить глубокий и широкий поиск информации, что является критически важным навыком в современном мире, насыщенном данными. WANDR предлагает уникальный подход к тестированию, фокусируясь на способности агентов не только находить, но и верифицировать информацию.
WANDR представляет собой набор из 500 задач, требующих обширного сбора доказательств. Основная цель бенчмарка — определить, насколько эффективно исследовательские агенты могут обнаруживать множество соответствующих сущностей и подкреплять каждое найденное утверждение цитируемыми, перепроверяемыми доказательствами. Это отличает WANDR от многих существующих бенчмарков, которые могут не уделять достаточного внимания качеству и проверяемости источников.
Разработчики Perplexity AI подчеркивают, что способность агента «искать широко и глубоко» является ключевой для создания по-настоящему полезных систем. Бенчмарк оценивает не просто поиск релевантных документов, но и способность агента синтезировать информацию из различных источников, выявлять взаимосвязи и представлять результаты в структурированном виде, подкрепленном фактами.
В начальных тестах Perplexity Search as Code показал лидирующие результаты, достигнув 0.363 по метрике soft F1 и 0.133 по метрике hard F1. Эти показатели демонстрируют текущий уровень развития исследовательских агентов и задают ориентир для дальнейших улучшений в области ИИ-поиска и анализа информации.
Выпуск WANDR является значимым шагом для сообщества искусственного интеллекта, предоставляя стандартизированный метод для оценки и сравнения исследовательских агентов. Ожидается, что этот открытый бенчмарк будет способствовать ускорению исследований и разработок в области создания более умных и надежных систем для поиска и верификации информации.
Подробнее: marktechpost.com