Спрашивают в нескольких компаниях

English · Русский · AI Interview Atlas › Справка

Вопросы, о которых сообщали в двух и более компаниях; сильное основание — первым.

Основы LLM

• Выведите объём памяти KV-кеша декодера в зависимости от размера батча и длины контекста.
  • Знания · Где спрашивали: Amazon †, OpenAI † · ✍ Ответ
• Сравните greedy decoding, beam search, температуру, top-k и nucleus sampling; приведите ограничение каждого подхода.
  • Знания · Где спрашивали: Google и Google DeepMind †, Perplexity †

Инференс, serving и стоимость

• Сравните tensor, pipeline, data, sequence и expert parallelism при развёртывании большой модели.
  • Знания · Где спрашивали: Amazon †, Google и Google DeepMind †, Meta †
• Разграничьте time to first token, time per output token, inter-token latency и throughput при сравнении систем инференса.
  • Знания · Где спрашивали: Microsoft †, Perplexity † · ✍ Ответ
• Вам поручили снизить стоимость инференса на порядок. Расставьте меры по приоритету и объясните, как проверить достижимость цели.
  • Прикладной сценарий · Где спрашивали: Amazon †, Microsoft † · ✍ Ответ
• После релиза p99 задержки удвоился, хотя веса модели не менялись. Как локализовать причину?
  • Прикладной сценарий · Где спрашивали: Amazon †, Databricks †, OpenAI †, Perplexity † · ✍ Ответ

RAG и поиск

• Когда стоит объединить лексический и векторный поиск и как свести их ранжирование?
  • Знания · Где спрашивали: Microsoft †, Perplexity † · ✍ Ответ
• Где разместить cross-encoder reranker в поисковом пайплайне и когда выигрыш качества оправдывает задержку?
  • Знания · Где спрашивали: Microsoft †, Perplexity † · ✍ Ответ
• Спроектируйте поиск с соблюдением прав исходной системы, включая изменения разрешений и общие кеши.
  • System design · Где спрашивали: Databricks †, Microsoft †, Palantir † · ✍ Ответ

Агенты, инструменты и протоколы

• Спроектируйте подтверждение человеком значимых действий агента, связав разрешение с конкретным исполняемым действием.
  • System design · Где спрашивали: OpenAI †, Palantir † · ✍ Ответ

Дообучение и post-training

• Выберите между изменением промпта, retrieval и дообучением для неудачной AI-функции; учтите свежесть данных, задержку и полную стоимость.
  • Прикладной сценарий · Где спрашивали: Databricks †, Microsoft †, OpenAI † · ✍ Ответ

Оценка качества и наблюдаемость

• Как измерять неподтверждённые утверждения в работающем RAG-приложении, не принимая гладкий текст за правильный ответ?
  • System design · Где спрашивали: Anthropic †, OpenAI † · ✍ Ответ

Дизайн AI-систем

• Спроектируйте помощника по десяти миллионам корпоративных документов с индивидуальными правами и постоянно меняющимся корпусом.
  • System design · Где спрашивали: Amazon †, Databricks †, Microsoft †, OpenAI † · ✍ Ответ
• Спроектируйте запросы на естественном языке к хранилищу с тысячами таблиц: от выбора схемы до безопасного исполнения.
  • System design · Где спрашивали: Databricks †, Palantir † · ✍ Ответ
• Спроектируйте LLM gateway с маршрутизацией, failover, кешированием, лимитами запросов и обязательными бюджетами.
  • System design · Где спрашивали: Palantir †, Perplexity † · ✍ Ответ
• Спроектируйте потоковый чат для сотен миллионов пользователей с планированием мощности, хранением диалогов и работой при перегрузке.
  • System design · Где спрашивали: Anthropic †, Google и Google DeepMind †, Meta †, OpenAI † · ✍ Ответ

Практический кодинг

• Реализуйте scaled dot-product attention с causal mask и тестами, выявляющими доступ к будущим токенам.
  • Кодинг · Где спрашивали: Amazon †, Anthropic †, Google и Google DeepMind † · ✍ Ответ
• Реализуйте token-bucket limiter и объясните изменения для общего лимита, применяемого несколькими воркерами.
  • Кодинг · Где спрашивали: Anthropic †, OpenAI † · ✍ Ответ
• Напишите асинхронный обработчик батча API-запросов с ограничением конкурентности, jitter повторов и изоляцией ошибок элементов.
  • Кодинг · Где спрашивали: Anthropic †, Perplexity † · ✍ Ответ