Алексей Зайцев. Как приручить нейросеть: галлюцинации, guardrails и контроль рисков

Нейросети способны решать задачи на уровне человека и эксперта, но по-прежнему могут уверенно сообщать недостоверные сведения. Почему галлюцинации заложены в сам принцип работы языковых моделей? Можно ли определить, что модель не уверена в своём ответе? И какие механизмы позволяют бизнесу снижать риски? В лекции «Безопасный ИИ для бизнеса» Алексей Зайцев, доцент Центра ИИ Сколтеха и руководитель Лаборатории прикладных исследований Сколтех–Сбербанк, объясняет: — почему большая языковая модель не устанавливает истину, а прогнозирует продолжение текста; — чем фактологические галлюцинации отличаются от внутренних противоречий; — как обнаруживать ошибки с помощью повторной генерации, анализа внутренних состояний и внешних ограничителей; — что такое guardrails и почему единственного универсального механизма защиты не существует; — как корпоративные базы знаний и RAG повышают надёжность ответов; — какие атаки возможны на языковые модели и почему безопасность всегда связана с компромиссом между качеством, стоимостью и уровнем контроля; — как обычному пользователю проверять ответы нейросети без глубоких технических знаний. Лекция состоялась на онлайн-практикуме Битрикс24 «AIшница 4.0: Нейросети для бизнеса». Таймкоды 00:00 — Начало выступления 01:45 — Алексей Зайцев и исследования лаборатории LARSS 03:31 — Что представляет собой современный ИИ 05:35 — Как языковая модель генерирует ответ 08:57 — Почему нейросети неизбежно ошибаются 10:37 — Внутренние и фактологические галлюцинации 13:14 — Знает ли модель, что она не уверена 15:06 — Как внутренние состояния модели выдают ошибку 16:42 — Ограничители ИИ: стоимость, качество и универсальность 19:02 — Что делать, если ответ признан ненадёжным 20:47 — Как снизить количество галлюцинаций 23:33 — Контекст, корпоративные базы знаний и RAG 24:46 — Атаки на языковые модели и риск утечки данных 26:20 — Главные выводы 28:12 — Как проверять ИИ обычному пользователю 31:43 — Когда необходим человеческий контроль Главная мысль: модели будут ошибаться, но уровень риска можно последовательно снижать — с помощью достоверного контекста, ограничителей, независимой проверки и участия человека в критически важных решениях.