Российские исследователи разработали систему мониторинга достоверности ответов искусственного интеллекта

Специалисты из Университета Решетнева представили инновационный подход к минимизации ошибок в работе генеративных нейросетей, сообщает ria.ru. Разработка направлена на решение актуальной проблемы, известной в профессиональной среде как «галлюцинации» моделей — ситуации, когда алгоритм с высокой уверенностью выдаёт недостоверную или полностью выдуманную информацию.

В настоящее время для снижения риска формирования ложных ответов преимущественно применяются архитектуры с дополненной выборкой данных. Такие системы предварительно осуществляют поиск релевантных сведений в проверенных источниках и лишь затем генерируют ответ. Однако данный метод не гарантирует полной защиты от ошибок, которые могут возникать вследствие опечаток в запросах, внутренних противоречий или недостаточной полноты используемых баз знаний.

Для преодоления указанных ограничений исследовательская группа под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой провела анализ типовых сценариев возникновения «галлюцинаций» и разработала их систематизированный классификатор. На основе полученных данных был создан автоматизированный конвейер стресс-тестирования, который генерирует контрольные запросы, сопоставляет сформированные ответы с эталонными образцами и оценивает точность с применением специализированных метрик и методов семантического анализа.

Ключевым результатом работы стал прототип модуля мониторинга, функционирующего в режиме реального времени. Инструмент фиксирует все входящие запросы и контекст диалога, рассчитывает вероятность выдачи недостоверной информации и присваивает модели интегральный показатель уверенности в ответе. При обнаружении аномалий или низких значениях достоверности система направляет сигнал оператору для принятия корректирующих мер.

Важной характеристикой методики является её технологическая независимость: решение не привязано к конкретной архитектуре нейросети и может быть адаптировано для интеграции с различными платформами. Такая универсальность открывает возможности для масштабирования разработки в разнообразных прикладных сферах.

Потенциальные области внедрения охватывают образовательные сервисы, порталы государственных услуг, медицинские консультационные системы и юридические помощники. В каждом из этих контекстов точность и достоверность информации имеют критическое значение, а ошибки могут повлечь существенные последствия для пользователей.

Эксперты отмечают, что проблема «галлюцинаций» остаётся одним из основных барьеров для широкого внедрения генеративного искусственного интеллекта в ответственные процессы. Разработка отечественных решений для контроля качества ответов способствует повышению доверия к технологиям и создаёт условия для их безопасного использования в социально значимых отраслях.

Для образовательного сектора внедрение подобных модулей позволяет минимизировать риски распространения недостоверных знаний через чат-боты и интеллектуальные тьюторы. В медицине и юриспруденции система мониторинга может служить дополнительным фильтром, снижающим вероятность принятия решений на основе ошибочных данных.

В дальнейшем планируется совершенствование алгоритмов оценки достоверности за счёт расширения обучающих выборок и интеграции с внешними верифицированными источниками. Развитие методики в направлении адаптивного обучения позволит системе самостоятельно выявлять новые паттерны ошибок и своевременно корректировать параметры генерации.

Реализация подобных инициатив соответствует стратегическим задачам развития искусственного интеллекта в Российской Федерации. Создание отечественных инструментов обеспечения надёжности нейросетевых моделей укрепляет технологический суверенитет и способствует формированию конкурентоспособных решений для глобального рынка.