Основы LLM

English · Русский · AI Interview Atlas › Темы

Как устроены трансформеры и LLM: attention, токены, контекст, сэмплинг, масштабирование. Инженеры выводят и реализуют; руководителям нужна интуиция о цене, качестве и ограничениях.

На этой странице: Оба трека (2) · AI-инженерия (16)

Оба трека

• Как результаты Chinchilla меняют выбор размера модели и числа обучающих токенов при фиксированном бюджете вычислений?
  • Знания · Где спрашивали: Anthropic † · ✍ Ответ · Предложить правку
  • Что проверяет: Понимание различия между оптимумом обучения и экономикой эксплуатации.
  • Сильный ответ покрывает:
    • Задать фиксированный бюджет вычислений и эмпирический характер зависимости.
    • Сбалансировать число параметров с достаточным объёмом обучающих токенов.
    • Отделить оптимум обучения от стоимости инференса и ограничений качества данных.
  • Читать: Training Compute-Optimal Large Language Models (Hoffmann et al., arXiv)
• Чем отличаются цели и данные предобучения, instruction tuning и оптимизации по предпочтениям?
  • Знания · Где спрашивали: Meta † · Предложить правку
  • Что проверяет: Понимание возможностей и ограничений каждого этапа.
  • Сильный ответ покрывает:
    • Назвать цели: предсказание следующего токена на сыром корпусе, та же функция потерь на демонстрациях с маской на ответы, затем попарные предпочтения.
    • Сказать, что меняет каждый этап: предобучение даёт знания и навыки, instruction tuning — формат, предпочтения переранжируют уже доступное модели поведение.
    • Проверить границы: факты, добавленные только дообучением, обобщаются плохо, а обучение на предпочтениях может поощрять длину и угодливость.
  • Читать: Training language models to follow instructions with human feedback (Ouyang et al., arXiv) · Direct Preference Optimization: Your Language Model is Secretly a Reward Model (Rafailov et al., arXiv) · Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations? (Gekhman et al., arXiv)

AI-инженерия

• Выведите формулу scaled dot-product attention и объясните, как масштаб влияет на градиенты softmax.
  • Знания · ✍ Ответ · Предложить правку
  • Что проверяет: Понимание размерностей тензоров и численной устойчивости.
  • Сильный ответ покрывает:
    • Проследить размерности Q, K и V до взвешенной суммы.
    • Объяснить деление на корень из размерности ключа и насыщение softmax.
    • Наложить causal mask до softmax и проверить численную устойчивость.
  • Читать: Attention Is All You Need (Vaswani et al., arXiv)
• Выведите объём памяти KV-кеша декодера в зависимости от размера батча и длины контекста.
  • Знания · Где спрашивали: Amazon †, OpenAI † · ✍ Ответ · Предложить правку
  • Что проверяет: Умение рассчитать размер кеша с учётом архитектуры.
  • Сильный ответ покрывает:
    • Для равных длин использовать 2 × батч × слои × токены × KV-головы × размер головы × байты.
    • Объяснить, почему запросы не сохраняют для последующих шагов декодирования.
    • Отдельно учесть веса, активации, padding и накладные расходы выделения памяти.
  • Читать: Efficient Memory Management for Large Language Model Serving with PagedAttention (Kwon et al., arXiv) · GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints (Ainslie et al., arXiv)
• Сравните multi-head, multi-query и grouped-query attention по качеству и памяти при инференсе.
  • Знания · Где спрашивали: Meta † · ✍ Ответ · Предложить правку
  • Что проверяет: Понимание различия между головами запросов и общими ключами и значениями.
  • Сильный ответ покрывает:
    • В MHA головы KV отдельные, в MQA одна общая, в GQA общие внутри групп.
    • Связать число KV-голов с размером кеша и чтением памяти.
    • Обсудить проверку качества и необходимость обучения или адаптации весов.
  • Читать: GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints (Ainslie et al., arXiv)
• Объясните, как latent attention сжимает представление KV и что приходится восстанавливать при инференсе.
  • Знания · ✍ Ответ · Предложить правку
  • Что проверяет: Понимание отличия архитектурного сжатия от снижения численной точности.
  • Сильный ответ покрывает:
    • Кешировать один низкоранговый латентный вектор на токен вместо полных key и value для каждой головы.
    • Восстанавливать key и value по головам из латента или встраивать обратные проекции в проекции query и выхода, платя дополнительными вычислениями.
    • Отделить архитектурное сжатие от квантования того же кеша.
  • Читать: DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model (DeepSeek-AI, arXiv)
• Почему точный attention может работать быстрее без изменения квадратичного характера вычислений?
  • Знания · ✍ Ответ · Предложить правку
  • Что проверяет: Понимание различия между обменом с памятью и вычислительной сложностью.
  • Сильный ответ покрывает:
    • Объяснить блочное вычисление attention и сокращение обмена между уровнями памяти ускорителя.
    • Отличить точный attention с различиями округления от разреженного или приближённого attention.
    • Разделить квадратичную арифметику и обмен с памятью; измерить нужные размерности на целевом оборудовании.
  • Читать: FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (Dao et al., arXiv)
• Объясните обучение BPE и причины неодинаковой токенизации чисел, кода и разных письменностей.
  • Знания · Предложить правку
  • Что проверяет: Понимание влияния токенизации на расход контекста и представление текста.
  • Сильный ответ покрывает:
    • Описать обучение: начать с символов или байтов и повторно сливать самую частую соседнюю пару, пока словарь не заполнится.
    • Связать неравномерность с частотами корпуса и правилами предтокенизации: редкие письменности дробятся, группы цифр различаются, отступы в коде режутся непредсказуемо.
    • Измерить число токенов на символ или слово по языкам и доменам и его влияние на контекст, стоимость и арифметику.
  • Читать: Neural Machine Translation of Rare Words with Subword Units (Sennrich et al., arXiv) · Language Model Tokenizers Introduce Unfairness Between Languages (Petrov et al., arXiv)
• Сравните добавляемые позиционные эмбеддинги, rotary embeddings и смещения attention для задания порядка токенов.
  • Знания · Предложить правку
  • Что проверяет: Понимание разных способов задать позицию токена.
  • Сильный ответ покрывает:
    • Показать, куда входит позиция: прибавляется к эмбеддингам входа, поворачивает query и key или добавляется к логитам внимания.
    • Противопоставить абсолютные обучаемые или синусоидальные таблицы скалярному произведению по относительному смещению в RoPE и линейному штрафу за расстояние в ALiBi.
    • Проверить поведение за пределами обучающей длины на поиске внутри контекста: перплексия скрывает слабое использование дальних токенов.
  • Читать: Attention Is All You Need (Vaswani et al., arXiv) · RoFormer: Enhanced Transformer with Rotary Position Embedding (Su et al., arXiv) · Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation (Press et al., arXiv)
• Объясните RoPE и компромиссы интерполяции при расширении контекста за пределы обучающей длины.
  • Знания · Где спрашивали: Meta † · Предложить правку
  • Что проверяет: Умение отличать допустимую длину входа от надёжной работы с длинным контекстом.
  • Сильный ответ покрывает:
    • Объяснить RoPE: пары координат query и key поворачиваются на угол, равный позиции, умноженной на частоту пары, поэтому оценка зависит от смещения.
    • Показать, что позиционная интерполяция делит каждую частоту на коэффициент растяжения и размывает соседние токены; NTK и YaRN масштабируют в основном низкие частоты.
    • Отличать допустимую длину от реального использования: проверить поиск и многошаговые задачи на разной глубине и регрессии на коротком контексте после дообучения.
  • Читать: RoFormer: Enhanced Transformer with Rotary Position Embedding (Su et al., arXiv) · Lost in the Middle: How Language Models Use Long Contexts (Liu et al., arXiv) · Extending Context Window of Large Language Models via Positional Interpolation (Chen et al., arXiv) · YaRN: Efficient Context Window Extension of Large Language Models (Peng et al., arXiv) · RULER: What's the Real Context Size of Your Long-Context Language Models? (Hsieh et al., arXiv)
• Как разреженная маршрутизация по экспертам увеличивает число параметров и какие затраты сохраняются при активации части экспертов?
  • Знания · ✍ Ответ · Предложить правку
  • Что проверяет: Умение различать активные вычисления, общую память и коммуникации.
  • Сильный ответ покрывает:
    • Отделить общее число параметров от параметров, активируемых для одного токена.
    • Учесть память, в которой лежат все эксперты, и трафик маршрутизации между устройствами.
    • Обсудить перекос нагрузки, ёмкость экспертов и отброшенные токены.
  • Читать: Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity (Fedus et al., arXiv)
• Сравните greedy decoding, beam search, температуру, top-k и nucleus sampling; приведите ограничение каждого подхода.
  • Знания · Где спрашивали: Google и Google DeepMind †, Perplexity † · Предложить правку
  • Что проверяет: Понимание связи преобразований вероятностей с разнообразием и качеством ответов.
  • Сильный ответ покрывает:
    • Описать каждый метод как преобразование: argmax, приближённый поиск по правдоподобию последовательности, деление логитов на T, отсечение до k и по накопленной массе.
    • Назвать сбои: greedy и beam зацикливаются или банальны, высокая температура уводит в бессвязность, top-k игнорирует форму распределения, top-p пропускает плоский хвост.
    • Выбирать по задаче — детерминированно для извлечения, с сэмплированием для генерации — и мерить точность вместе с разнообразием по разным seed.
  • Читать: The Curious Case of Neural Text Degeneration (Holtzman et al., arXiv)
• Как проверить и уменьшить склонность модели пропускать важные сведения в середине длинного контекста?
  • Знания · ✍ Ответ · Предложить правку
  • Что проверяет: Умение измерять использование контекста, а не судить по его вместимости.
  • Сильный ответ покрывает:
    • Перемещать одни и те же нужные сведения по позициям в контексте.
    • Измерять точность при разных длинах, отвлекающих фрагментах и моделях.
    • Сравнить retrieval, порядок и сокращение контекста без обещания универсального решения.
  • Читать: Lost in the Middle: How Language Models Use Long Contexts (Liu et al., arXiv)
• Сравните transformer-блоки с нормализацией до и после подслоя и объясните отличие RMSNorm.
  • Знания · Предложить правку
  • Что проверяет: Понимание связи формулы нормализации с устойчивостью обучения.
  • Сильный ответ покрывает:
    • Записать оба блока: в post-norm LayerNorm применяется после сложения с residual, в pre-norm нормализуется только вход подслоя.
    • Связать расположение с устойчивостью: pre-norm сохраняет тождественный путь градиента и меньше зависит от прогрева, но норма residual растёт с глубиной.
    • Дать формулу RMSNorm — x, делённый на своё среднеквадратичное значение и умноженный на gain: без вычитания среднего и сдвига, меньше операций.
  • Читать: Attention Is All You Need (Vaswani et al., arXiv) · On Layer Normalization in the Transformer Architecture (Xiong et al., arXiv) · Root Mean Square Layer Normalization (Zhang et al., arXiv)
• Объясните две ветви SwiGLU и компромиссы по параметрам и вычислениям относительно обычного feed-forward блока.
  • Знания · Где спрашивали: Meta † · Предложить правку
  • Что проверяет: Понимание механики gated activations.
  • Сильный ответ покрывает:
    • Записать SwiGLU: Swish от одной проекции поэлементно гейтит вторую линейную проекцию, затем проекция вниз возвращает d_model.
    • Посчитать параметры: три матрицы вместо двух, поэтому скрытая ширина сужается примерно до 8d/3, чтобы сохранить 8d² весов.
    • Сравнивать при равных параметрах и FLOP по отложенному loss, учитывая дополнительную память активаций и слияние ядер gate и up.
  • Читать: GLU Variants Improve Transformer (Shazeer, arXiv)
• Проследите размерности тензоров в слое decoder-only transformer и в финальной проекции на словарь.
  • Знания · Где спрашивали: Anthropic † · Предложить правку
  • Что проверяет: Умение связать attention, residual-связи и логиты словаря в единое вычисление.
  • Сильный ответ покрывает:
    • Провести [B, T, d_model] через нормализацию, проекции Q, K, V с разбиением на головы, оценки [B, H, T, T] и выходную проекцию.
    • Держать residual-поток в d_model на всём пути: MLP расширяет до d_ff и сужает обратно перед каждым сложением.
    • Спроецировать финально нормализованный поток матрицей d_model × размер словаря в логиты [B, T, V] и перепроверить размерности для шага decode с KV-кешем.
  • Читать: Attention Is All You Need (Vaswani et al., arXiv)
• Свяжите cross-entropy, KL divergence и perplexity в предсказании следующего токена и назовите условия корректного сравнения.
  • Знания · Где спрашивали: OpenAI † · Предложить правку
  • Что проверяет: Умение согласованно использовать вероятностные определения.
  • Сильный ответ покрывает:
    • Показать, что cross-entropy равна энтропии данных плюс KL от данных к модели, поэтому при фиксированных данных минимизировать одно и другое равносильно.
    • Определить перплексию как экспоненту среднего cross-entropy на токен в натах; она зависит от токенизатора, текста оценки и длины контекста.
    • Сравнивать разные токенизаторы в битах на байт, зафиксировав текст, обработку контекста и основание логарифма.
  • Читать: Deep Learning: Probability and Information Theory (Ian Goodfellow, Yoshua Bengio and Aaron Courville)
• Объясните рост стоимости self-attention с длиной контекста и сравните способы её уменьшить.
  • Знания · Где спрашивали: OpenAI † · Предложить правку
  • Что проверяет: Умение отличать оптимизацию исполнения от изменения поведения модели.
  • Сильный ответ покрывает:
    • Показать стоимость: произведения оценок и значений в prefill растут как T², а каждый шаг decode читает KV-кеш, линейный по T.
    • Отделить точные ядра вроде FlashAttention, сокращающие обмен с памятью, от окон, разреженности, вытеснения KV или GQA, меняющих выход модели.
    • Для методов, меняющих поведение, заново прогнать оценки на длинном контексте; для точных — проверить только численную эквивалентность и скорость.
  • Читать: FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (Dao et al., arXiv) · GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints (Ainslie et al., arXiv)

Инференс, serving и стоимость →