Оценка качества и наблюдаемость

English · Русский · AI Interview Atlas › Темы

Как понять, что AI-система работает: eval-наборы, LLM-судьи, регрессионные гейты, онлайн-измерения и трассировки.

На этой странице: Оба трека (8) · AI-инженерия (13)

Оба трека

• Команда связывает улучшение результатов с reasoning-моделью, но одновременно изменила промпты, инструменты и вычислительный бюджет. Как выяснить, что именно помогло?
  • Прикладной сценарий · 🧪 сгенерировано по темам вакансий · ✍ Ответ · Предложить правку
  • Что проверяет: Умение отделить эффект модели от изменений окружающей системы.
  • Сильный ответ покрывает:
    • Зафиксировать задания, оценку и состояние инструментов; менять модель, промпт и бюджет в контролируемых сравнениях.
    • Повторить прогоны и показать неопределённость, сложные срезы и ошибки, а не только общую долю побед.
    • Сравнить и базовый вариант при равном бюджете, и рабочую систему с её реальными ограничениями цены и задержки.
  • Читать: Evaluation best practices (OpenAI API documentation) · Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (Snell et al., arXiv)
• Краткое объяснение reasoning-модели выглядит убедительно, но ответ следует ложной подсказке. Какие выводы должны сделать оценка и мониторинг?
  • Прикладной сценарий · 🧪 сгенерировано по темам вакансий · ✍ Ответ · Предложить правку
  • Что проверяет: Умение отличать наблюдаемое объяснение от правильности и достоверного описания вычислений.
  • Сильный ответ покрывает:
    • Оценивать итог и наблюдаемые действия независимо от качества объяснения.
    • Сравнить одинаковые задачи с ложной подсказкой и без неё; отдельно измерять изменение ответа и признание влияния подсказки.
    • Считать резюме и доступные трассы неполными диагностическими сигналами, а не доступом к скрытым рассуждениям или гарантией безопасности.
  • Читать: Reasoning Models Don't Always Say What They Think (Chen et al., arXiv)
• Как собрать полезный eval-набор без эталонных ответов и при дефиците экспертного времени?
  • Прикладной сценарий · ✍ Ответ · Предложить правку
  • Что проверяет: Умение направить выборку и разметку на значимую неопределённость.
  • Сильный ответ покрывает:
    • Начать с разбора ошибок на реальных трассах, чтобы понять, какие сбои важны, до всякой разметки.
    • Тратить время экспертов на неочевидные случаи с высокой ценой ошибки, оценивая по бинарным критериям, а не по совпадению с единственным ответом.
    • Калибровать более дешёвых оценщиков по экспертной разметке и следить за согласием, прежде чем доверять им в масштабе.
  • Читать: Your AI Product Needs Evals (Hamel Husain) · Demystifying evals for AI agents (Anthropic)
• Спроектируйте критерии допуска изменений промпта и модели, включая ситуацию, когда общий рост скрывает критическую регрессию.
  • System design · Где спрашивали: Anthropic † · ✍ Ответ · Предложить правку
  • Что проверяет: Учёт тяжести ошибок и неопределённости при выпуске.
  • Сильный ответ покрывает:
    • Версионировать кандидат, baseline, датасет и оценщиков.
    • Задать правила допуска для критических срезов и повторных стохастических запусков.
    • Сочетать офлайн-оценку с контролируемым rollout и явными критериями отката.
  • Читать: Demystifying evals for AI agents (Anthropic)
• Результаты бенчмарков растут, а пользователи жалуются на ухудшение продукта. Какие гипотезы проверить сначала?
  • Прикладной сценарий · ✍ Ответ · Предложить правку
  • Что проверяет: Умение связать покрытие оценки с реальными задачами пользователей.
  • Сильный ответ покрывает:
    • Сопоставить задачи бенчмарка и трафик с реальными сценариями.
    • Проверить утечки, регрессии срезов, задержку и изменения ожиданий.
    • Воспроизвести жалобы и добавить типичные ошибки, не подгоняя модель под тест.
  • Читать: Rules of Machine Learning (Google for Developers)
• Спроектируйте онлайн-оценку AI-функции: что логировать, проверять вручную и сравнивать экспериментом?
  • System design · Где спрашивали: Perplexity † · Предложить правку
  • Что проверяет: Умение отличать результаты эксперимента от пассивных корреляций.
  • Сильный ответ покрывает:
    • Логировать входы, выходы, версии и последующие исходы по каждому запросу в рамках согласия и сроков хранения.
    • Вручную разбирать стратифицированную выборку для поиска типов ошибок, но считать корреляции из логов гипотезами.
    • Подтверждать причинный эффект рандомизированным экспериментом с заранее заданной основной метрикой, защитными метриками и достаточной мощностью.
  • Читать: Your AI Product Needs Evals (Hamel Husain) · Measuring the User Experience on a Large Scale: User-Centered Metrics for Web Applications (Rodden, Hutchinson and Fu, Google Research)
• Клиент жалуется на худшие ответы после обновления модели. Как проверить регрессию и решить, что восстановить или изменить?
  • Прикладной сценарий · Где спрашивали: OpenAI † · ✍ Ответ · Предложить правку
  • Что проверяет: Умение воспроизвести реальные клиентские ошибки и выбрать исправление.
  • Сильный ответ покрывает:
    • Собрать точные неудачные запросы клиента и перечислить все изменения, вышедшие с обновлением, а не только модель.
    • Прогнать старую и новую конфигурацию на одинаковых входах с повторными сэмплами и слепым попарным сравнением.
    • Выбрать исправление по причине: починить конфигурацию, адаптировать промпт или закрепить версию; добавить кейсы в критерии допуска.
  • Читать: Your AI Product Needs Evals (Hamel Husain)
• Как изменить оценку LLM-процесса при переходе от предложений к исполнению действий в production?
  • System design · Где спрашивали: Palantir † · ✍ Ответ · Предложить правку
  • Что проверяет: Умение учитывать последствия действий в критериях допуска.
  • Сильный ответ покрывает:
    • Оценивать исход в среде, а не текст предложения: что изменилось и было ли это разрешено.
    • Взвешивать ошибки по последствиям и обратимости; для необратимых действий нужен почти нулевой допуск или одобрение человека.
    • Проверять в изолированных копиях среды, затем переходить к теневому режиму и поэтапной выкатке с журналом действий и аварийным отключением.
  • Читать: Demystifying evals for AI agents (Anthropic) · OWASP Top 10 for LLM Applications (OWASP Gen AI Security Project)

AI-инженерия

• Различите награду за результат, process supervision и проверку при инференсе. Какие данные обоснуют выбор каждого подхода для новой reasoning-задачи?
  • Знания · 🧪 сгенерировано по темам вакансий · ✍ Ответ · Предложить правку
  • Что проверяет: Умение отличать обучающий сигнал от отбора при инференсе и независимой оценки качества.
  • Сильный ответ покрывает:
    • Объяснить, какая обратная связь меняет веса, а какая выбирает результат при инференсе.
    • Оценить доступность разметки, ошибки проверяющего и способы обмануть награду или правило отбора.
    • Проверять результат независимо на отложенных данных; не переносить выводы по математике на все процессы.
  • Читать: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (v1) (DeepSeek-AI, arXiv) · Let's Verify Step by Step (Lightman et al., arXiv)
• Спроектируйте LLM-судью и калибровку, выявляющую смещения из-за порядка, многословия и предпочтения собственных ответов.
  • System design · Где спрашивали: Perplexity † · ✍ Ответ · Предложить правку
  • Что проверяет: Умение проверять решения модели по независимой разметке.
  • Сильный ответ покрывает:
    • Задать критерии задачи и отложенную калибровочную выборку с человеческой разметкой.
    • Менять порядок ответов и проверять влияние длины и идентичности модели.
    • Измерять расхождения и передавать экспертам ненадёжные случаи.
  • Читать: Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al., arXiv)
• Как измерять неподтверждённые утверждения в работающем RAG-приложении, не принимая гладкий текст за правильный ответ?
  • System design · Где спрашивали: Anthropic †, OpenAI † · ✍ Ответ · Предложить правку
  • Что проверяет: Умение отличать опору на источники от беглости и правдоподобия.
  • Сильный ответ покрывает:
    • Сделать единицей измерения утверждение, проверенное против фрагментов, реально найденных для этого ответа.
    • Масштабировать разметку судьёй, откалиброванным на размеченной людьми выборке.
    • Разделять ошибку поиска и недостоверную генерацию при отнесении причины.
  • Читать: Your AI Product Needs Evals (Hamel Husain)
• Как загрязнение бенчмарка искажает оценку и как уменьшить утечку в обучение или подбор модели?
  • Знания · Предложить правку
  • Что проверяет: Понимание того, что повторная настройка по тестовому набору создаёт утечку.
  • Сильный ответ покрывает:
    • Различать попадание тестовых примеров в предобучение и утечку через отбор при многократной настройке по тесту.
    • Держать закрытый тестовый набор, используемый один раз на решение, и настраивать только на отдельной dev-выборке.
    • Выявлять загрязнение по пересечению n-грамм и canary-строкам и сравнивать с заданиями, созданными после даты среза данных.
  • Читать: Proving Test Set Contamination in Black Box Language Models (Oren et al., arXiv)
• Спроектируйте наблюдаемость LLM-процесса в production: какие spans, версии, затраты и обратную связь нужно связать?
  • System design · ✍ Ответ · Предложить правку
  • Что проверяет: Умение восстановить сбой задачи без бесконтрольного логирования чувствительных данных.
  • Сильный ответ покрывает:
    • Связать spans модели, retrieval и инструментов с идентификатором задачи и версиями.
    • Записывать задержки, токены, исходы и выборочную обратную связь с ограничением хранения.
    • Локализовать по трассировкам ошибки этапов и превращать повторы в eval-кейсы.
  • Читать: Site Reliability Engineering (Google) · Demystifying evals for AI agents (Anthropic)
• Как версионировать промпты и зависимые настройки для воспроизводимого отката обнаруженной регрессии?
  • System design · ✍ Ответ · Предложить правку
  • Что проверяет: Умение восстановить при откате реальную конфигурацию системы.
  • Сильный ответ покрывает:
    • Версионировать всю конфигурацию одним неизменяемым набором: промпт, снимок модели, параметры, инструменты и индекс поиска.
    • Закреплять конкретные снимки моделей, а не псевдонимы: плавающий псевдоним меняет поведение без деплоя.
    • Записывать id набора в каждом запросе и подтверждать откат повторным прогоном упавших кейсов на восстановленном наборе.
  • Читать: Site Reliability Engineering (Google)
• Чем оценка агента с инструментами должна отличаться от проверки одного сгенерированного ответа?
  • System design · ✍ Ответ · Предложить правку
  • Что проверяет: Учёт конечного состояния, траектории и надёжности повторных запусков.
  • Сильный ответ покрывает:
    • Проверять конечное состояние среды, а не сообщение агента об успехе.
    • Отдельно оценивать выполнение задачи и опасные либо расточительные траектории.
    • Повторять испытания в чистых контролируемых средах и показывать надёжность между запусками.
  • Читать: Demystifying evals for AI agents (Anthropic)
• Спроектируйте эксперимент для предполагаемой новой способности или смещения большой модели с контролем влияния формулировки задачи.
  • Прикладной сценарий · Где спрашивали: Anthropic † · Предложить правку
  • Что проверяет: Умение проверять утверждение о способности и рассматривать альтернативные объяснения.
  • Сильный ответ покрывает:
    • Превратить утверждение в предсказание с метрикой, порогом и результатом, который его опроверг бы.
    • Контролировать формулировку: перефразированные промпты, перемешанные варианты, сбалансированный порядок и непрерывные метрики рядом с точным совпадением.
    • Исключить загрязнение и артефакты оценки: новые задания, сравнение с меньшими моделями и повторные сэмплы.
  • Читать: Are Emergent Abilities of Large Language Models a Mirage? (Schaeffer et al., arXiv)
• Спроектируйте eval-harness для новой модели с воспроизводимостью, изоляцией исполнения и сопоставимыми результатами.
  • System design · Где спрашивали: Google и Google DeepMind † · Предложить правку
  • Что проверяет: Умение построить инфраструктуру для достоверного сравнения.
  • Сильный ответ покрывает:
    • Закрепить всё, что влияет на оценку: версию датасета, шаблон промпта, параметры декодирования, оценщика и seed.
    • Исполнять сгенерированный моделью код в изолированных песочницах с ограничением сети и ресурсов и чистым состоянием на задачу.
    • Показывать средние по повторным сэмплам с доверительными интервалами и перезапускать baseline-модель, чтобы ловить дрейф harness.
  • Читать: Demystifying evals for AI agents (Anthropic) · Evaluation best practices (OpenAI API documentation)
• Два квалифицированных врача составляют разные, но хорошие записи одной консультации. Как корректно оценить сгенерированную запись?
  • Прикладной сценарий · Предложить правку
  • Что проверяет: Умение допускать корректную вариативность, проверяя пропуски и неподтверждённое содержание.
  • Сильный ответ покрывает:
    • Оценивать по перечню клинически обязательных фактов из консультации, а не по сходству с одной записью.
    • Проверять каждое утверждение сгенерированной записи на подтверждение в расшифровке и отдельно отмечать неподтверждённое.
    • Принять согласие двух врачей за потолок и калибровать любого автоматического оценщика по их оценкам.
  • Читать: Demystifying evals for AI agents (Anthropic) · Ethics and governance of artificial intelligence for health: Guidance on large multi-modal models (World Health Organization)
• В коротком разговоре без подготовки предложите проверяемые идеи о поведении языковой модели, для которых нужен не внутренний доступ, а внимательное наблюдение.
  • Знания · Где спрашивали: Anthropic 🗣 · Предложить правку
  • Что проверяет: Умение быстро выдвигать конкретные проверяемые гипотезы о поведении модели.
  • Сильный ответ покрывает:
    • Формулировать каждую идею как поведение, контролируемое изменение промпта и ожидаемый измеримый результат.
    • Опираться на наблюдаемые рычаги: позицию информации, порядок вариантов, длину, персону, язык и повторные сэмплы.
    • Назвать, сколько сэмплов и какой контроль отличат реальный эффект от шума или формулировки промпта.
  • Читать: Lost in the Middle: How Language Models Use Long Contexts (Liu et al., arXiv)
• Сформулируйте бизнес-задачу как задачу машинного обучения: выберите и обоснуйте метрику качества и объясните, как соберёте и проверите данные.
  • Знания · Где спрашивали: Т-Банк ✅ · Предложить правку
  • Что проверяет: Следуют ли метрика и данные из бизнес-цели, а не из привычки.
  • Сильный ответ покрывает:
    • Перевести бизнес-решение в целевую переменную, действие, которое она запускает, и цену каждой ошибки.
    • Выбрать офлайн-метрику исходя из цены ошибок и назвать онлайн-метрику бизнеса, которую она должна сдвинуть.
    • Проверить данные: задержку и утечку меток, разбиение по времени и расхождение между обучением и продакшеном.
  • Читать: Rules of Machine Learning (Google for Developers)
• Измените промпт так, чтобы заданная доля ответов модели соответствовала нужному результату, и покажите, как вы это измерили.
  • Прикладной сценарий · Где спрашивали: Anthropic 🗣 · Предложить правку
  • Что проверяет: Опираются ли правки промпта на измерения по набору примеров, а не на отдельные случаи.
  • Сильный ответ покрывает:
    • Сначала задать нужный результат как проверку с бинарным исходом и собрать представительный набор примеров.
    • Менять по одному элементу за раз и сэмплировать каждый пример несколько раз, поскольку ответы различаются между прогонами.
    • Показать долю с доверительным интервалом на отложенных примерах, чтобы прирост не оказался подгонкой.
  • Читать: Evaluation best practices (OpenAI API documentation) · Your AI Product Needs Evals (Hamel Husain)

← Дообучение и post-training · Безопасность, защита и governance →