Arenadata. Локальные LLM в реальных задачах

Недавно выступил на Arenaday 2025 с докладом о том, как мы в Arenadata используем локальные языковые модели (LLM) для решения реальных бизнес-задач. Поделюсь ключевыми инсайтами и современными подходами. 🔹 Почему локальные модели? Локальные опенсорсные модели стали популярны не случайно. Три ключевых преимущества: ✅ Безопасность корпоративных данных — никакие данные не покидают периметр компании. ✅ Независимость от внешних поставщиков — полный контроль над инфраструктурой. ✅ Специализация под задачи — модель заточена под конкретный домен. Мы активно используем квантизованную модель Qwen2.5 с 70 миллиардами параметров. 🔹 Структурированный вывод: решение проблемы "творческих" LLM Одна из главных проблем языковых моделей — их непредсказуемость. Для продакшена нужны четкие, структурированные ответы. ✅ Constrained Decoding и Structured Output позволяют генерировать ответы строго по заданной JSON-схеме. Используя Pydantic-классы, мы определяем структуру данных, а библиотека Outlines обеспечивает соблюдение формата на уровне токенов. Кейс 1: Классификация входящих писем Автоматизировали сортировку писем на info@arenadata с помощью подходов Chain of Thought и Structured Output: 🔹 Модель анализирует признаки письма. 🔹 Формирует цепочку рассуждений. 🔹 Выдает структурированный результат с категорией и уровнем уверенности. Результат: предсказуемая классификация с прозрачной логикой. Кейс 2: Автоматизация подбора корпоративных подарков Создали мультиагентную систему из трех специализированных агентов: 🔹 Planner Agent — координатор, анализирует и делегирует задачи. 🔹 Gift Recommender Agent — эксперт по подаркам с инструментами поиска и бронирования. 🔹 Text-to-SQL Agent — специалист по работе с базами данных. Ключевой инсайт: агенты обмениваются структурированными командами и SQL-запросами, избегая переполнения контекста. 🔹 Практические выводы ✅ Структурированный вывод критически важен для промышленного использования LLM. ✅ Агентская архитектура эффективнее монолитных решений для сложных задач. ✅ Управление контекстом — ключ к масштабируемости систем с LLM. ✅ Локальные модели дают контроль и безопасность без потери качества.