С чего начать: AI-инженерия

English · Русский · AI Interview Atlas › Треки и роли

Приоритетные вопросы трека в порядке изучения. Сначала ответьте вслух и только потом читайте: на странице темы у каждого вопроса есть чек-лист ответа и материалы для чтения.

Порядок изучения, еженедельная практика и критерии готовности — в учебном плане.

Выберите предметный маршрут по карте обучения: AI-ассистированный кодинг, прикладная AI-инженерия или AI Leadership.

Границы свидетельств и следующие шаги описаны в аудите покрытия, исследовании Engineering, аудите Leadership и плане расширения.

Ответы на эти вопросы

• 1. Выведите формулу scaled dot-product attention и объясните, как масштаб влияет на градиенты softmax.
  • Знания · Основы LLM · ✍ Ответ
• 2. Выведите объём памяти KV-кеша декодера в зависимости от размера батча и длины контекста.
  • Знания · Основы LLM · Где спрашивали: Amazon †, OpenAI † · ✍ Ответ
• 3. Сравните multi-head, multi-query и grouped-query attention по качеству и памяти при инференсе.
  • Знания · Основы LLM · Где спрашивали: Meta † · ✍ Ответ
• 4. Как результаты Chinchilla меняют выбор размера модели и числа обучающих токенов при фиксированном бюджете вычислений?
  • Знания · Основы LLM · Где спрашивали: Anthropic † · ✍ Ответ
• 5. Как проверить и уменьшить склонность модели пропускать важные сведения в середине длинного контекста?
  • Знания · Основы LLM · ✍ Ответ
• 6. Сравните prefill и авторегрессионное декодирование: когда узким местом становятся вычисления, а когда пропускная способность памяти?
  • Знания · Инференс, serving и стоимость · ✍ Ответ
• 7. Объясните батчинг на уровне итераций: как запросы добавляются в выполняющийся батч и покидают его?
  • Знания · Инференс, serving и стоимость · Где спрашивали: Anthropic † · ✍ Ответ
• 8. Объясните точное speculative decoding, проверку предложенных токенов и случаи, когда draft-модель лишь добавляет накладные расходы.
  • Знания · Инференс, serving и стоимость · ✍ Ответ
• 9. Оцените память для обслуживания модели с 70 млрд параметров, явно задав точность, контекст и конкурентность.
  • Прикладной сценарий · Инференс, serving и стоимость · ✍ Ответ
• 10. Вам поручили снизить стоимость инференса на порядок. Расставьте меры по приоритету и объясните, как проверить достижимость цели.
  • Прикладной сценарий · Инференс, serving и стоимость · Где спрашивали: Amazon †, Microsoft † · ✍ Ответ
• 11. После релиза p99 задержки удвоился, хотя веса модели не менялись. Как локализовать причину?
  • Прикладной сценарий · Инференс, serving и стоимость · Где спрашивали: Amazon †, Databricks †, OpenAI †, Perplexity † · ✍ Ответ
• 12. Выберите подход к разбиению технической документации на чанки, сохраняя смысл на границах разделов.
  • Прикладной сценарий · RAG и поиск · ✍ Ответ
• 13. Когда стоит объединить лексический и векторный поиск и как свести их ранжирование?
  • Знания · RAG и поиск · Где спрашивали: Microsoft †, Perplexity † · ✍ Ответ
• 14. Как отдельно оценить поиск документов и генерацию ответа в RAG-приложении?
  • Прикладной сценарий · RAG и поиск · ✍ Ответ
• 15. Спроектируйте поиск с соблюдением прав исходной системы, включая изменения разрешений и общие кеши.
  • System design · RAG и поиск · Где спрашивали: Databricks †, Microsoft †, Palantir † · ✍ Ответ
• 16. Сравните точный поиск, HNSW и IVF-PQ для индекса эмбеддингов при ограничениях памяти, полноты и задержки.
  • Знания · RAG и поиск · ✍ Ответ
• 17. Что даёт чередование рассуждений и наблюдений от инструментов по сравнению с одними рассуждениями модели?
  • Знания · Агенты, инструменты и протоколы · ✍ Ответ
• 18. Спроектируйте восстановление после ошибок и тайм-аутов инструментов, включая случай, когда операция уже изменила внешнее состояние.
  • System design · Агенты, инструменты и протоколы · Где спрашивали: OpenAI † · ✍ Ответ
• 19. Как выбрать, назвать и описать инструменты, чтобы модель верно выбирала операцию и аргументы?
  • System design · Агенты, инструменты и протоколы · Где спрашивали: Anthropic † · ✍ Ответ
• 20. Задайте критерии завершения и остановки агентного цикла, исключающие бесконечные затраты на незавершённую задачу.
  • System design · Агенты, инструменты и протоколы · ✍ Ответ
• 21. Спроектируйте подтверждение человеком значимых действий агента, связав разрешение с конкретным исполняемым действием.
  • System design · Агенты, инструменты и протоколы · Где спрашивали: OpenAI †, Palantir † · ✍ Ответ
• 22. Разберите RLHF на предпочтениях и объясните роль reward model и штрафа за отклонение от опорной политики.
  • Знания · Дообучение и post-training · ✍ Ответ
• 23. Сравните DPO с RLHF на PPO, включая предпосылки обучения по офлайн-предпочтениям и причины собирать новые траектории.
  • Знания · Дообучение и post-training · ✍ Ответ
• 24. Выведите низкоранговое обновление весов LoRA и предложите эксперимент для выбора ранга.
  • Знания · Дообучение и post-training · ✍ Ответ
• 25. Как QLoRA сокращает память дообучения и какие тензоры остаются обучаемыми или требуют большей точности?
  • Знания · Дообучение и post-training · ✍ Ответ
• 26. Выберите между изменением промпта, retrieval и дообучением для неудачной AI-функции; учтите свежесть данных, задержку и полную стоимость.
  • Прикладной сценарий · Дообучение и post-training · Где спрашивали: Databricks †, Microsoft †, OpenAI † · ✍ Ответ
• 27. Спроектируйте LLM-судью и калибровку, выявляющую смещения из-за порядка, многословия и предпочтения собственных ответов.
  • System design · Оценка качества и наблюдаемость · Где спрашивали: Perplexity † · ✍ Ответ
• 28. Спроектируйте критерии допуска изменений промпта и модели, включая ситуацию, когда общий рост скрывает критическую регрессию.
  • System design · Оценка качества и наблюдаемость · Где спрашивали: Anthropic † · ✍ Ответ
• 29. Результаты бенчмарков растут, а пользователи жалуются на ухудшение продукта. Какие гипотезы проверить сначала?
  • Прикладной сценарий · Оценка качества и наблюдаемость · ✍ Ответ
• 30. Спроектируйте наблюдаемость LLM-процесса в production: какие spans, версии, затраты и обратную связь нужно связать?
  • System design · Оценка качества и наблюдаемость · ✍ Ответ
• 31. Чем оценка агента с инструментами должна отличаться от проверки одного сгенерированного ответа?
  • System design · Оценка качества и наблюдаемость · ✍ Ответ
• 32. Сравните проекционные слои, cross-attention и токенное представление для подключения изображений к языковой модели.
  • Знания · Мультимодальность и голос · Где спрашивали: Meta † · ✍ Ответ
• 33. Как улучшать и проверять распознавание смешанных языков в реплике и разных акцентов?
  • Прикладной сценарий · Мультимодальность и голос · ✍ Ответ
• 34. Спроектируйте помощника по десяти миллионам корпоративных документов с индивидуальными правами и постоянно меняющимся корпусом.
  • System design · Дизайн AI-систем · Где спрашивали: Amazon †, Databricks †, Microsoft †, OpenAI † · ✍ Ответ
• 35. Спроектируйте LLM gateway с маршрутизацией, failover, кешированием, лимитами запросов и обязательными бюджетами.
  • System design · Дизайн AI-систем · Где спрашивали: Palantir †, Perplexity † · ✍ Ответ
• 36. Спроектируйте агента поддержки, который выполняет сервисные действия и при необходимости передаёт обращение человеку.
  • System design · Дизайн AI-систем · ✍ Ответ
• 37. Спроектируйте потоковый чат для сотен миллионов пользователей с планированием мощности, хранением диалогов и работой при перегрузке.
  • System design · Дизайн AI-систем · Где спрашивали: Anthropic †, Google и Google DeepMind †, Meta †, OpenAI † · ✍ Ответ
• 38. Реализуйте scaled dot-product attention с causal mask и тестами, выявляющими доступ к будущим токенам.
  • Кодинг · Практический кодинг · Где спрашивали: Amazon †, Anthropic †, Google и Google DeepMind † · ✍ Ответ
• 39. Реализуйте token-bucket limiter и объясните изменения для общего лимита, применяемого несколькими воркерами.
  • Кодинг · Практический кодинг · Где спрашивали: Anthropic †, OpenAI † · ✍ Ответ
• 40. Напишите асинхронный обработчик батча API-запросов с ограничением конкурентности, jitter повторов и изоляцией ошибок элементов.
  • Кодинг · Практический кодинг · Где спрашивали: Anthropic †, Perplexity † · ✍ Ответ
• 41. Как разреженная маршрутизация по экспертам увеличивает число параметров и какие затраты сохраняются при активации части экспертов?
  • Знания · Основы LLM · ✍ Ответ
• 42. Объясните, как latent attention сжимает представление KV и что приходится восстанавливать при инференсе.
  • Знания · Основы LLM · ✍ Ответ
• 43. Когда префикс промпта можно переиспользовать и какие изменения обесценивают или инвалидируют кеш?
  • Знания · Инференс, serving и стоимость · ✍ Ответ
• 44. Как страничная организация KV-кеша сокращает потери памяти и какие задачи остаются планировщику?
  • Знания · Инференс, serving и стоимость · ✍ Ответ
• 45. Сервис может потратить больше вычислений на один reasoning-запуск или получить несколько кандидатов и проверить их. Как распределить бюджет при ограничении задержки?
  • Прикладной сценарий · Инференс, serving и стоимость · 🧪 сгенерировано по темам вакансий · ✍ Ответ
• 46. Где разместить cross-encoder reranker в поисковом пайплайне и когда выигрыш качества оправдывает задержку?
  • Знания · RAG и поиск · Где спрашивали: Microsoft †, Perplexity † · ✍ Ответ
• 47. Как связать каждое фактическое утверждение ответа с подтверждающим найденным фрагментом?
  • System design · RAG и поиск · Где спрашивали: Perplexity † · ✍ Ответ
• 48. Что MCP стандартизирует между AI-приложением и внешним сервисом сверх формата function call модели?
  • Знания · Агенты, инструменты и протоколы · Где спрашивали: Microsoft † · ✍ Ответ
• 49. Спроектируйте память агента, работающего в нескольких сессиях: что сохранять, извлекать, пересматривать и забывать?
  • System design · Агенты, инструменты и протоколы · Где спрашивали: Anthropic † · ✍ Ответ
• 50. Когда разделение работы между агентами улучшает результат, а когда преобладают затраты на координацию?
  • Знания · Агенты, инструменты и протоколы · ✍ Ответ
• 51. Как измерять неподтверждённые утверждения в работающем RAG-приложении, не принимая гладкий текст за правильный ответ?
  • System design · Оценка качества и наблюдаемость · Где спрашивали: Anthropic †, OpenAI † · ✍ Ответ
• 52. Краткое объяснение reasoning-модели выглядит убедительно, но ответ следует ложной подсказке. Какие выводы должны сделать оценка и мониторинг?
  • Прикладной сценарий · Оценка качества и наблюдаемость · 🧪 сгенерировано по темам вакансий · ✍ Ответ
• 53. Спроектируйте безопасный API доступа к моделям для разработчиков: аутентификация, квоты, потоковые ответы и обратная совместимость.
  • System design · Дизайн AI-систем · Где спрашивали: Anthropic † · ✍ Ответ
• 54. Составьте сквозной бюджет задержки голосового агента от определения конца реплики до воспроизведения ответа.
  • System design · Мультимодальность и голос · ✍ Ответ
• 55. Реализуйте минимальный агентный runner с проверяемой диспетчеризацией инструментов, обработкой ошибок и жёстким лимитом шагов.
  • Кодинг · Практический кодинг · ✍ Ответ
• 56. Разграничьте time to first token, time per output token, inter-token latency и throughput при сравнении систем инференса.
  • Знания · Инференс, serving и стоимость · Где спрашивали: Microsoft †, Perplexity † · ✍ Ответ
• 57. Почему точный attention может работать быстрее без изменения квадратичного характера вычислений?
  • Знания · Основы LLM · ✍ Ответ
• 58. Спроектируйте запросы на естественном языке к хранилищу с тысячами таблиц: от выбора схемы до безопасного исполнения.
  • System design · Дизайн AI-систем · Где спрашивали: Databricks †, Palantir † · ✍ Ответ
• 59. Клиент жалуется на худшие ответы после обновления модели. Как проверить регрессию и решить, что восстановить или изменить?
  • Прикладной сценарий · Оценка качества и наблюдаемость · Где спрашивали: OpenAI † · ✍ Ответ
• 60. Как сделать действия агента в production обратимыми там, где это возможно, и проверяемыми там, где откат невозможен?
  • System design · Агенты, инструменты и протоколы · Где спрашивали: Palantir † · ✍ Ответ
• 61. Рассчитайте память полного bf16-дообучения модели 7B с Adam, затем для LoRA; явно задайте предположения об оптимизаторе.
  • Прикладной сценарий · Дообучение и post-training · ✍ Ответ
• 62. Спроектируйте обучение модели, не помещающейся на одном ускорителе: как разделить состояние и ограничить стоимость коммуникаций?
  • System design · Дообучение и post-training · Где спрашивали: Google и Google DeepMind † · ✍ Ответ
• 63. Объясните GRPO и компромиссы оценки advantage без обученной value model.
  • Знания · Дообучение и post-training · ✍ Ответ
• 64. Награда политики растёт, а людям ответы нравятся всё меньше. Как выявить и ограничить reward hacking?
  • Прикладной сценарий · Дообучение и post-training · ✍ Ответ
• 65. Объясните использование принципов, самокоррекции и AI-предпочтений в Constitutional AI и сохранённую зависимость от человеческих решений.
  • Знания · Дообучение и post-training · Где спрашивали: Anthropic † · ✍ Ответ
• 66. Объясните поиск через гипотетический документ и способ проверить пользу на вашем распределении запросов.
  • Знания · RAG и поиск · ✍ Ответ
• 67. На интервью, где от вас ждут работы с AI-инструментами, как вы сохраняете ответственность за код, который не писали руками, и где отказываетесь от того, что предложила модель?
  • Прикладной сценарий · Практический кодинг · Где спрашивали: Canva ✅ · ✍ Ответ
• 68. Команда связывает улучшение результатов с reasoning-моделью, но одновременно изменила промпты, инструменты и вычислительный бюджет. Как выяснить, что именно помогло?
  • Прикладной сценарий · Оценка качества и наблюдаемость · 🧪 сгенерировано по темам вакансий · ✍ Ответ
• 69. Различите награду за результат, process supervision и проверку при инференсе. Какие данные обоснуют выбор каждого подхода для новой reasoning-задачи?
  • Знания · Оценка качества и наблюдаемость · 🧪 сгенерировано по темам вакансий · ✍ Ответ
• 70. Запрос к reasoning API расходует токены, но не возвращает пригодный ответ. Как найти причину и организовать восстановление с ограниченным бюджетом?
  • Прикладной сценарий · Инференс, serving и стоимость · 🧪 сгенерировано по темам вакансий · ✍ Ответ
• 71. Спланируйте продукт вместе с интервьюером, затем примерно за два часа соберите его с любыми AI-инструментами для программирования и защитите решения, код и путь в продакшен.
  • Прикладной сценарий · Практический кодинг · Где спрашивали: Sierra ✅ · ✍ Ответ
• 72. Проверьте и доработайте черновой pull request коллеги со сквозной функцией в незнакомой кодовой базе, работая вместе с coding-агентами.
  • Прикладной сценарий · Практический кодинг · Где спрашивали: Sierra ✅ · ✍ Ответ
• 73. В клоне репозитория продукта реализуйте структуру данных, которую продукт действительно использует; к AI обращайтесь только с точечными вопросами по синтаксису.
  • Кодинг · Практический кодинг · Где спрашивали: Cursor (Anysphere) 🗣 · ✍ Ответ
• 74. На сессии с AI-кодингом объясните, какими моделями пользуетесь и почему, как следите за расходом токенов и как задаёте агенту контекст и задачу.
  • Прикладной сценарий · Практический кодинг · ✍ Ответ
• 75. Чем ответ по схеме отличается от function calling и какой компонент действительно исполняет действие?
  • Знания · Агенты, инструменты и протоколы · ✍ Ответ
• 76. После долгой работы агент уверенно решает не ту задачу. Как найти момент расхождения состояния с целью и восстановить работу?
  • Прикладной сценарий · Агенты, инструменты и протоколы · ✍ Ответ
• 77. Как для coding agent отделить вклад модели от вклада harness в надёжное завершение задачи?
  • System design · Агенты, инструменты и протоколы · Где спрашивали: Anthropic † · ✍ Ответ
• 78. Как собрать полезный eval-набор без эталонных ответов и при дефиците экспертного времени?
  • Прикладной сценарий · Оценка качества и наблюдаемость · ✍ Ответ
• 79. Как изменить оценку LLM-процесса при переходе от предложений к исполнению действий в production?
  • System design · Оценка качества и наблюдаемость · Где спрашивали: Palantir † · ✍ Ответ
• 80. Как версионировать промпты и зависимые настройки для воспроизводимого отката обнаруженной регрессии?
  • System design · Оценка качества и наблюдаемость · ✍ Ответ
• 81. Спроектируйте извлечение структурированных полей из десяти миллионов сканов с возможностью проверки сомнительных результатов.
  • System design · Дизайн AI-систем · Где спрашивали: Palantir † · ✍ Ответ
• 82. Спроектируйте непрерывное обновление индекса с изменениями, удалениями и запросами во время перестроения.
  • System design · RAG и поиск · Где спрашивали: Perplexity † · ✍ Ответ
• 83. За время долгой задачи контекст агента заполняется. Как вы решите, что остаётся в окне, что сворачивается в резюме, а что выносится наружу?
  • System design · Агенты, инструменты и протоколы · 🧪 сгенерировано по темам вакансий · ✍ Ответ
• 84. Несколько продуктовых команд работают через один внутренний AI-шлюз. Как сделать так, чтобы трафик, данные и кеши одной команды не влияли на другую?
  • System design · AI-платформа и операционная модель · 🧪 сгенерировано по темам вакансий · ✍ Ответ
• 85. Провайдер объявил, что версия модели, от которой зависят ваши продукты, будет отключена через три месяца. Как вы проведёте переход во всех командах, которые её используют?
  • Прикладной сценарий · AI-платформа и операционная модель · 🧪 сгенерировано по темам вакансий · ✍ Ответ
• 86. Задержка и доступность вашей AI-платформы зависят от внешнего провайдера моделей. Что вы пообещаете внутренним командам и как будете это обещание выполнять?
  • System design · AI-платформа и операционная модель · 🧪 сгенерировано по темам вакансий · ✍ Ответ
• 87. Перед запуском ассистента с доступом к инструментам: как вы организуете состязательное тестирование и что позволит утверждать чистый результат?
  • System design · Безопасность, защита и governance · 🧪 сгенерировано по темам вакансий · ✍ Ответ