Тест знает ответ: как обнаружить утечку в бенчмарк

Бенчмарк может показать рост качества, которого нет: модель уже встречала тестовые примеры при обучении или настройке. Тогда измеряется не способность решать задачу, а знакомство с ответом. 📌 Где искать утечку: в обучающих данных, документах для поиска, примерах в промптах и обратной связи, которую команда добавляет после проверки теста. Даже копия с изменённой формулировкой может сохранить подсказки из исходного задания. 🧪 Что делать: разделяйте данные по источнику и времени, а не только случайно; ищите точные и смысловые совпадения; держите закрытую контрольную выборку отдельно от разработчиков и пайплайнов. Для неё ограничьте доступ и фиксируйте все изменения. 🔍 Следите за происхождением каждого примера и проверяйте тесты перед выпуском модели. Если результат резко вырос на знакомом наборе, сравните его с новыми заданиями того же типа. Надёжный бенчмарк — не тот, где модель набрала больше баллов, а тот, где она не могла заранее увидеть ответы.