Пилот проекта с ИИ обычно проваливается не из-за технологии, а из-за организации: нет ответственного, документы в трёх версиях, критериев успеха не существует. Ниже — план на две недели, который можно пройти без разработчиков и без бюджета на интеграции.
Шаг 0. Договориться, что считаем успехом
До загрузки документов определите одну метрику. Например: «на 80 % вопросов из списка из 30 штук ассистент отвечает верно и со ссылкой на документ». Всё остальное — вторично.
Без этого шага проект обречён: довольные и недовольные найдутся в любом исходе, а решения не будет.
Неделя 1: документы и доступы
День 1–2. Соберите документы. Возьмите 5–10 файлов, по которым чаще всего задают вопросы. Прайс, регламент, инструкция, договор, техническая документация. Не весь архив.
День 3. Приведите их в порядок. Проверьте, что версия актуальная. Уберите дубли: два разных прайса в базе — это гарантированные противоречия в ответах. Сканы проверьте на читаемость — если текст не распознаётся глазом, OCR его тоже не возьмёт.
День 4. Загрузите и проверьте индексацию. После загрузки задайте три простых вопроса, ответы на которые вы знаете наизусть. Это быстрый тест, что документы действительно попали в поиск, а не просто лежат в хранилище.
День 5. Настройте доступы. Решите, кто видит какие документы. Кадровые и финансовые документы не должны быть в общей базе.
Неделя 2: проверка качества и запуск
День 6–7. Соберите список вопросов. 20–30 вопросов от реальных сотрудников, в их формулировках. Не «каков срок гарантии», а «сколько действует гарантия, если купили в прошлом году».
День 8–9. Прогон и разбор провалов. Каждый неверный ответ разбирайте по трём причинам: (1) документа нет в базе, (2) документ устарел или противоречит другому, (3) вопрос сформулирован так, что ответа в документах не существует. Первые две лечатся, третья — нет, и это нормально.
День 10. Повторная проверка. Сравните результат с исходным. Если доля верных ответов выросла — пилот удался.
День 11–12. Обучение сотрудников. Три правила: спрашивать обычным языком, смотреть на источник в ответе, сообщать, если ответ неверный. Пятнадцати минут достаточно.
День 13–14. Запуск и сбор обратной связи. Откройте доступ группе и соберите вопросы, на которые ассистент не ответил. Это ваш план развития базы на следующий месяц.
Как оценить результат
Три метрики, которые не требуют сложной аналитики:
| Метрика | Как считать | Ориентир для пилота |
|---|---|---|
| Доля верных ответов | Из вашего списка вопросов | Растёт от прогона к прогону |
| Доля ответов со ссылкой | В интерфейсе видно источник | Близко к 100 % |
| Время до ответа | Секундомер на 5 вопросах | Секунды вместо минут поиска |
Не пытайтесь считать «сэкономленные часы» в деньгах на пилоте: исходные данные всё равно будут взяты с потолка. Достаточно показать, что сотрудники перестали искать информацию в папках и чатах.
Что делать после запуска
- Обновлять базу при изменении документов. Новый прайс — сразу в систему, старый — удалить.
- Смотреть журнал вопросов. Он показывает, каких документов не хватает, лучше любой анкеты.
- Не добавлять всё подряд. Каждый лишний документ немного снижает точность поиска.
Частые вопросы
Нужно ли обучать модель? Нет. Документы индексируются, модель отвечает по найденным фрагментам. Дообучение не требуется.
Что если ответа в документах нет? Система должна честно об этом сказать. Если она придумывает — это повод проверить настройки и качество базы.
Сколько человек нужно на поддержку? Один ответственный на 1–2 часа в неделю: обновить документы и просмотреть вопросы без ответа.
Что дальше
План рассчитан на ассистента, который отвечает по документам компании. Посмотрите, как устроена RAG-система, если нужен закрытый контур — вариант под 152-ФЗ, если задача в ответах по ценам — чат-бот по прайс-листу.