Поиск по нормам с источником: как проверять ответ ИИ-инструмента

Проблема не в ответе, а в проверке

Инструмент, который уверенно пересказывает норму, экономит время ровно до первого неверного ответа. В проектной работе цена такой ошибки выше экономии.

Поэтому требование одно: у каждого утверждения есть источник — документ, пункт, страница.

Что должен отдавать инструмент

• фрагмент текста нормы, а не пересказ;
• реквизиты: документ, редакция, пункт;
• несколько кандидатов, если формулировка неоднозначна;
• явный отказ, если в базе нет подходящего пункта.

Отказ — полезный результат. Он показывает, что вопрос выходит за пределы базы, и его надо решать чтением документа, а не догадкой.

Что проверяется

Поиск оценивается на наборе вопросов, у которых ответ известен: пункт, где он лежит. Метрика — попал ли нужный пункт в выдачу и не выдал ли инструмент уверенный ответ без источника.

Разметка вопросов делается один раз и переиспользуется: без неё «стало лучше» — это впечатление.

Где это работает

Поиск по нормативной базе, объяснение нарушения в модели со ссылкой на пункт, разбор таблиц документации (таблицы — половина норм, и разбор только текста их теряет).

Где не работает

Инструмент не принимает решений и не заменяет расчёт. Он находит норму и указывает место. Проверку и выводы делает инженер, и это должно быть видно в интерфейсе, а не мелким шрифтом в описании.