Parallel Web Systems представляет Search API: самый точный веб-поиск для AI-агентов

Вкратце

Parallel Web Systems запустила веб-инструмент поиска Parallel Search API, предназначенный для предоставления релевантных данных, повышения точности, снижения затрат и повышения эффективности рабочих процессов на основе агентов.

Parallel Web Systems, стартап, сосредоточенный на создании новой веб-инфраструктуры, адаптированной для ИИ-агентов, запустила Parallel Search API — инструмент веб-поиска, специально разработанный для оптимизации доставки релевантных, токен-эффективных веб-данных по минимальной стоимости. Эта инновация направлена на получение более точных ответов, сокращение количества раундов запросов и снижение затрат для ИИ-агентов.

Традиционные поисковые системы созданы для человеческих пользователей. Они ранжируют URL-адреса, предполагая, что пользователи перейдут на страницу, оптимизируя по ключевым словам, кликам и макетам страниц, предназначенным для просмотра, всё это происходит за миллисекунды и с минимальными затратами. Первое поколение API поиска на базе ИИ пыталось адаптировать эту модель для ИИ, но не полностью учитывало уникальные требования ИИ-агентов.

В отличие от человеческих пользователей, поиск для ИИ требует другого подхода: вместо ранжирования URL-адресов для кликов человека, основное внимание уделяется определению наиболее релевантных токенов для вставки в контекстное окно ИИ-агента, чтобы помочь ему выполнить задачу. Цель — не оптимизация для вовлеченности человека, а улучшение рассуждений и принятия решений внутри модели ИИ.

Эта новая архитектура поиска включает несколько ключевых инноваций: использование семантических целей, выходящих за рамки совпадения ключевых слов для захвата намерений агента, приоритетность релевантности токенов над человеческими метриками страниц, предоставление сжатой и высококачественной информации для рассуждений, а также решение сложных запросов одним вызовом поиска вместо нескольких шагов.

Используя этот дизайн поиска, ориентированный на ИИ, агенты могут получать более насыщенные информацией веб-токены в своем контекстном окне, что ведет к меньшему количеству вызовов поиска, большей точности и снижению затрат и задержек.

Продвижение сложного многоисточникового веб-поиска для ИИ-агентов

В то время как многие существующие системы поиска сосредоточены на простых вопросах и ответах, потребность в более сложном, многоаспектном поиске ожидается увеличением. И пользователи, и ИИ-агенты все чаще будут нуждаться в ответах, требующих синтеза информации из нескольких источников, рассуждений по сложным задачам и доступа к трудно-доступному веб-контенту.

Для удовлетворения этого растущего спроса Parallel оценил эффективность своего Search API на различных бенчмарках, от сложных задач с несколькими переходами (например, BrowseComp), до более простых одноступенчатых запросов (например, SimpleQA).

Parallel показала преимущество в более сложных запросах — тех, что охватывают несколько тем, требуют глубокого понимания труднодоступного контента или синтеза информации из разрозненных источников. В тестах, предназначенных для многоступенчатого рассуждения, таких как HLE, BrowseComp, WebWalker, FRAMES и Batched SimpleQA, Parallel не только обеспечила более высокую точность, но и решала запросы более эффективно, используя меньше шагов рассуждения.

Традиционные API поиска требуют выполнения нескольких последовательных поисков, что увеличивает задержки, расширяет контекстные окна, повышает стоимость токенов и снижает точность. В отличие от этого, подход Parallel позволяет решать более сложные запросы за один вызов поиска, что ведет к меньшему количеству последовательных запросов, лучшей точности, снижению затрат и меньшей задержке.

При тестировании на более простых одноступенчатых бенчмарках, таких как SimpleQA, включающих простые фактические вопросы, Parallel продолжала показывать хорошие результаты, хотя потенциал повышения точности в таких сценариях более ограничен из-за характера запросов.

Способность Parallel достигать передовых результатов обусловлена двумя годами разработки надежной инфраструктуры для оптимизации каждого слоя процесса поиска и постоянного улучшения производительности через обратную связь. Система фокусируется на индексировании труднообрабатываемого веб-контента, такого как мультимодальные, длинные PDF и сайты с большим количеством JavaScript, минимизируя при этом влияние на владельцев сайтов. Веб-индекс Parallel — один из самых быстрорастущих, с более чем 1 миллиардом страниц, обновляемых ежедневно.

Для ранжирования Parallel использует иной подход по сравнению с традиционным поиском. Вместо ранжирования URL по метрикам кликов человека, он сосредоточен на выявлении наиболее релевантных и авторитетных токенов для рассуждения больших языковых моделей (LLM). Собственные модели Parallel оценивают релевантность токенов, авторитет страниц и доменов, эффективность контекстных окон и кросс-источниковую валидацию, отдавая предпочтение качеству, а не вовлеченности.

Parallel Search API: расширение возможностей ИИ-систем с помощью высококачественных данных в реальном времени

Сегодня самые передовые разработчики выбирают создание и внедрение ИИ-систем с помощью поиска, основанного на Parallel. Эти организации протестировали различные альтернативы и понимают, что качество веб-данных напрямую влияет на решения, принимаемые их ИИ-агентами. Будь то Sourcegraph Amp, решающий баги с помощью кодового агента, Claygent, оптимизирующий каждое решение по выходу на рынок (GTM), Starbridge, выявляющий государственные RFP, или ведущая страховая компания, более эффективно обрабатывающая страховые случаи, чем человек-оценщик, — эффективность этих систем зависит от точности и релевантности используемых веб-данных.

Собственный Search API Parallel служит ядром инфраструктуры, поддерживающей его Web Agents. Например, API задач Parallel, который обрабатывает сложные многоступенчатые запросы на обогащение и исследование, построен на базе Search API. Каждый запрос API задач, работающий в продакшене, полагается на Search API для безупречной работы в фоновом режиме.

Этот архитектурный подход задает высокий стандарт для Parallel, поскольку любое улучшение в производительности поиска, задержках или качестве напрямую влияет на системы, обрабатывающие миллионы запросов ежедневно. Каждая неэффективность или неточность в Search API немедленно ощущается в продуктах, которые на нем основаны.

В результате инфраструктура Parallel постоянно совершенствуется и проходит проверку в условиях реальных требований агентских рабочих нагрузок. Ключ к успешному выполнению задач агентом — максимизация сигнала при минимизации шума в его контекстном окне. Search API Parallel гарантирует, что агенты получают наиболее релевантный, сжатый контекст из веба, что повышает их способность выполнять задачи точно и эффективно.