Дообучение и post-training

English · Русский · AI Interview Atlas › Темы

Supervised fine-tuning, оптимизация по предпочтениям, обучение с подкреплением, параметрически эффективные методы и дистилляция.

На этой странице: Оба трека (2) · AI-инженерия (13)

Оба трека

• Выберите между изменением промпта, retrieval и дообучением для неудачной AI-функции; учтите свежесть данных, задержку и полную стоимость.
  • Прикладной сценарий · Где спрашивали: Databricks †, Microsoft †, OpenAI † · ✍ Ответ · Предложить правку
  • Что проверяет: Умение выбрать вмешательство по выявленной причине ошибки.
  • Сильный ответ покрывает:
    • Разделить нехватку знаний, плохие инструкции и нежелательное поведение.
    • Задать промптовый baseline; проверить retrieval для свежих знаний с источниками.
    • Дообучать при достаточных характерных примерах и сравнить полную стоимость и отложенное качество.
  • Читать: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., arXiv) · LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., arXiv)
• Объясните использование принципов, самокоррекции и AI-предпочтений в Constitutional AI и сохранённую зависимость от человеческих решений.
  • Знания · Где спрашивали: Anthropic † · ✍ Ответ · Предложить правку
  • Что проверяет: Умение отличать сокращение разметки от устранения человеческого выбора ценностей.
  • Сильный ответ покрывает:
    • Разделить обучение на самокритике и исправлениях и RL по предпочтениям, сгенерированным AI.
    • Объяснить влияние выбранных принципов на критику, сравнения и обученную модель предпочтений.
    • Указать человеческий выбор принципов и оценки; сокращение разметки вредности не устраняет ценностные решения.
  • Читать: Constitutional AI: Harmlessness from AI Feedback (Bai et al., arXiv)

AI-инженерия

• Разберите RLHF на предпочтениях и объясните роль reward model и штрафа за отклонение от опорной политики.
  • Знания · ✍ Ответ · Предложить правку
  • Что проверяет: Умение различать сбор данных, обучение награды и оптимизацию политики.
  • Сильный ответ покрывает:
    • Разделить демонстрации, пары предпочтений и траектории политики.
    • Объяснить обучение модели награды и оптимизацию политики с ограничением относительно опорной модели.
    • Проверить отложенные человеческие предпочтения и переоптимизацию награды.
  • Читать: Training language models to follow instructions with human feedback (Ouyang et al., arXiv)
• Сравните DPO с RLHF на PPO, включая предпосылки обучения по офлайн-предпочтениям и причины собирать новые траектории.
  • Знания · ✍ Ответ · Предложить правку
  • Что проверяет: Умение не путать простоту функции потерь с универсальным превосходством.
  • Сильный ответ покрывает:
    • Описать функцию предпочтений через логарифмы вероятностей политики и опорной модели.
    • Объяснить отсутствие отдельно обучаемой reward model в базовом варианте.
    • Обсудить покрытие предпочтений и сдвиг распределения без тезиса об устаревании online RL.
  • Читать: Direct Preference Optimization: Your Language Model is Secretly a Reward Model (Rafailov et al., arXiv)
• Объясните GRPO и компромиссы оценки advantage без обученной value model.
  • Знания · ✍ Ответ · Предложить правку
  • Что проверяет: Понимание связи относительных наград и дисперсии с группами ответов.
  • Сильный ответ покрывает:
    • Получить несколько ответов на промпт и оценить advantage относительно наград внутри группы.
    • Объяснить экономию памяти value model и оставшиеся затраты на генерацию и вычисление наград.
    • Проверить группы с малым разбросом наград; сравнить успех на отложенных задачах и устойчивость обучения.
  • Читать: DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models (Shao et al., arXiv)
• Выведите низкоранговое обновление весов LoRA и предложите эксперимент для выбора ранга.
  • Знания · ✍ Ответ · Предложить правку
  • Что проверяет: Умение связать экономию параметров с выразительностью адаптации и проверкой качества.
  • Сильный ответ покрывает:
    • Записать обновление ΔW = BA и размерности обеих матриц.
    • Сравнить число обучаемых параметров с полной матрицей весов.
    • Выбрать ранг и модули по отложенным задачам; проверить регрессии и ограничения слияния.
  • Читать: LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., arXiv)
• Как QLoRA сокращает память дообучения и какие тензоры остаются обучаемыми или требуют большей точности?
  • Знания · ✍ Ответ · Предложить правку
  • Что проверяет: Умение отличать квантованные базовые веса от оптимизации адаптеров.
  • Сильный ответ покрывает:
    • Сохранить базовую модель квантованной и замороженной, обучая низкоранговые адаптеры.
    • Разделить роли NF4, двойного квантования и paged optimizers.
    • Учесть вычисления деквантования и сохраняющуюся память активаций.
  • Читать: QLoRA: Efficient Finetuning of Quantized LLMs (Dettmers et al., arXiv)
• Сравните низкоранговые адаптеры, prefix tuning, soft prompt tuning и полное дообучение для одной задачи.
  • Знания · Предложить правку
  • Что проверяет: Умение выбирать метод по данным, выразительности и ограничениям развёртывания.
  • Сильный ответ покрывает:
    • Расставить методы: LoRA добавляет низкоранговые обновления весов, prefix tuning обучает префиксы key и value в каждом слое, prompt tuning — входные эмбеддинги.
    • Взвесить выразительность и цену: полное дообучение хранит состояния оптимизатора и модель на каждую задачу, а адаптеры сливаются с весами или подменяются на запрос.
    • Сравнить все варианты на одинаковых данных по отложенным метрикам задачи и регрессиям общих способностей, включая задержку и память при обслуживании.
  • Читать: LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., arXiv) · Prefix-Tuning: Optimizing Continuous Prompts for Generation (Li et al., arXiv) · The Power of Scale for Parameter-Efficient Prompt Tuning (Lester et al., arXiv)
• После доменного дообучения просели общие способности модели. Как измерить и уменьшить catastrophic forgetting?
  • Прикладной сценарий · Предложить правку
  • Что проверяет: Умение проверять сохранение способностей наряду с успехом на целевой задаче.
  • Сильный ответ покрывает:
    • До обучения зафиксировать набор проверки сохранности и оценить на нём базовый и дообученный чекпоинты вместе с целевой задачей.
    • Снижать дрейф подмешиванием общих данных, меньшим learning rate или числом шагов, адаптерами, KL-штрафом или интерполяцией весов.
    • Построить зависимость прироста на задаче от сохранности по чекпоинтам и долям смешивания и выбрать точку на этой границе.
  • Читать: Training language models to follow instructions with human feedback (Ouyang et al., arXiv) · LoRA Learns Less and Forgets Less (Biderman et al., arXiv)
• Рассчитайте память полного bf16-дообучения модели 7B с Adam, затем для LoRA; явно задайте предположения об оптимизаторе.
  • Прикладной сценарий · ✍ Ответ · Предложить правку
  • Что проверяет: Учёт градиентов, состояния оптимизатора, мастер-весов и активаций.
  • Сильный ответ покрывает:
    • Задать точность и объём весов, градиентов, моментов Adam и мастер-копии весов, если она есть.
    • Для LoRA разделить замороженные базовые веса, обучаемые адаптеры и состояние их оптимизатора.
    • Отдельно учесть активации, временные буферы и запас; измерить пиковую память на характерном батче.
  • Читать: ZeRO: Memory Optimizations Toward Training Trillion Parameter Models (Rajbhandari et al., arXiv) · LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., arXiv)
• Когда программно проверяемая награда предпочтительнее обученной модели награды и как можно обмануть саму проверку?
  • Знания · Предложить правку
  • Что проверяет: Понимание ограничений проверки как спецификации.
  • Сильный ответ покрывает:
    • Предпочитать программную проверку там, где правильность дешева и объективна — точный ответ или тесты, — избегая переоптимизации модели награды.
    • Назвать слепые зоны: слабые тесты, подгонку под конкретные случаи, лазейки парсера, правку проверяющего кода и верный ответ из неверного рассуждения.
    • Вручную проверять выборку траекторий с высокой наградой и следить за разрывом между наградой и скрытыми тестами или независимой проверкой.
  • Читать: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (v1) (DeepSeek-AI, arXiv) · Scaling Laws for Reward Model Overoptimization (Gao, Schulman and Hilton, arXiv)
• Награда политики растёт, а людям ответы нравятся всё меньше. Как выявить и ограничить reward hacking?
  • Прикладной сценарий · ✍ Ответ · Предложить правку
  • Что проверяет: Умение отличать оптимизацию прокси от достижения реальной цели.
  • Сильный ответ покрывает:
    • Сопоставить прокси-награду со слепой оценкой людьми на отложенных данных и изучить новые поощряемые признаки.
    • Проверить ранние checkpoint и меньшую интенсивность оптимизации; расширить покрытие предпочтений до повторного обучения.
    • Считать контроль KL и раннюю остановку мерами снижения риска, не гарантией; отличать синтетическую эталонную модель от оценки людьми.
  • Читать: Scaling Laws for Reward Model Overoptimization (Gao, Schulman and Hilton, arXiv)
• Спроектируйте дистилляцию учителя в малую модель и проверку способностей, которые ученик не сохранил.
  • System design · Предложить правку
  • Что проверяет: Учёт покрытия данных и независимой оценки при подражании учителю.
  • Сильный ответ покрывает:
    • Собрать промпты, покрывающие распределение способностей, включая редкие языки, длинный контекст и отказы, а не только лёгкий трафик.
    • Выбрать дистилляцию по ответам учителя или по KL логитов на токен и добавить on-policy выборки ученика, чтобы он учился на своих ошибках.
    • Оценивать по срезам способностей на независимой разметке, а не по согласию с учителем, и отмечать срезы, где отставание ученика растёт.
  • Читать: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (v1) (DeepSeek-AI, arXiv) · Distilling the Knowledge in a Neural Network (Hinton et al., arXiv) · On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes (Agarwal et al., arXiv)
• В длинном запуске предобучения внезапно расходится loss. Как проверить данные, численную устойчивость и оптимизатор перед продолжением с checkpoint?
  • Прикладной сценарий · Где спрашивали: Google и Google DeepMind † · Предложить правку
  • Что проверяет: Умение восстанавливать обучение на основе воспроизводимой диагностики.
  • Сильный ответ покрывает:
    • Найти первый аномальный шаг по норме градиента, величинам активаций и логитов внимания и отношению обновления к весам.
    • Повторить участок с предыдущего checkpoint с тем же порядком данных: воспроизведённый скачок указывает на данные или численную устойчивость, иначе подозревать оборудование.
    • Вносить одно целевое исправление — пропуск батчей, меньший learning rate, более жёсткий clipping или z-loss — и сравнить повторённую траекторию.
  • Читать: PaLM: Scaling Language Modeling with Pathways (Chowdhery et al., arXiv) · Small-scale proxies for large-scale Transformer training instabilities (Wortsman et al., arXiv)
• Спроектируйте обучение модели, не помещающейся на одном ускорителе: как разделить состояние и ограничить стоимость коммуникаций?
  • System design · Где спрашивали: Google и Google DeepMind † · ✍ Ответ · Предложить правку
  • Что проверяет: Умение выбирать параллелизм по состоянию модели, активациям и топологии сети.
  • Сильный ответ покрывает:
    • Разделить параметры, градиенты, состояние оптимизатора и активации до выбора схемы разбиения.
    • Объяснить шардинг состояния ZeRO и затраты на обмен; отличать его от разделения вычислений слоя.
    • Измерить пиковую память, обмен и пропускную способность на целевой топологии до масштабирования.
  • Читать: ZeRO: Memory Optimizations Toward Training Trillion Parameter Models (Rajbhandari et al., arXiv)

← Агенты, инструменты и протоколы · Оценка качества и наблюдаемость →