Прикладные и клиентские сценарии¶
English · Русский · AI Interview Atlas › Темы
Открытые ситуации с клиентами и запутанными задачами: первые 48 часов, спасение пилота, декомпозиция бизнес-задачи.
На этой странице: Оба трека (16) · AI-инженерия (4) · AI-лидерство (5)
Оба трека¶
- Клиент хочет автоматизировать обработку страховых требований с помощью AI. Что вы сделаете за первые две недели?
- Прикладной сценарий · Senior · Где спрашивали: OpenAI † · ✍ Ответ · Предложить правку
- Что проверяет: Умеете ли вы превратить широкий запрос в ограниченный и измеримый рабочий процесс.
- Сильный ответ покрывает:
- Разобрать текущий процесс, решения, исключения и ответственных пользователей.
- Проверить доступ к данным, последствия ошибок и этапы, требующие решения человека.
- Выбрать узкий пилот с базовой линией, критериями приёмки и владельцем.
- Читать: Building Effective AI Agents (Anthropic) · AI Risk Management Framework (NIST)
- Руководитель клиента хочет закрыть AI-пилот из-за постоянных ошибок. Что вы сделаете в ближайшие 48 часов?
- Прикладной сценарий · Senior · Где спрашивали: Palantir † · ✍ Ответ · Предложить правку
- Что проверяет: Умеете ли вы сочетать разбор ошибок с реалистичным планом восстановления доверия.
- Сильный ответ покрывает:
- Признать последствия и собрать с клиентом конкретные неудачные сценарии.
- Ограничить вред и разделить проблемы данных, системы и ожиданий.
- Согласовать короткий проверочный этап и критерии продолжения или остановки.
- Читать: Site Reliability Engineering (Google) · Demystifying evals for AI agents (Anthropic)
- Клиент настаивает на дообучении своей модели на обращениях в поддержку, а вы считаете, что хватит поиска по данным. Как действовать?
- Прикладной сценарий · Senior · Где спрашивали: Databricks † · ✍ Ответ · Предложить правку
- Что проверяет: Умеете ли вы выяснить потребность, не подменяя её предпочтением архитектуры.
- Сильный ответ покрывает:
- Уточнить, зачем нужна своя модель: поведение, знания, цена или контроль.
- Собрать представительный набор задач и сравнить подходящие решения.
- Объяснить требования к данным, сопровождению и миграции до рекомендации.
- Читать: Rules of Machine Learning (Google for Developers) · Building Effective AI Agents (Anthropic)
- Базовую модель работающего агента отключат через 60 дней. Как вы проведёте миграцию без потери качества?
- Прикладной сценарий · Senior · Где спрашивали: Databricks † · ✍ Ответ · Предложить правку
- Что проверяет: Умеете ли вы управлять риском того, что поставщик выведет модель из эксплуатации, через воспроизводимую оценку и контролируемые изменения.
- Сильный ответ покрывает:
- Составить перечень затронутых процессов, контрактов инструментов и особенностей модели.
- Сравнить кандидатов на типичных зафиксированных задачах и известных ошибках.
- Спланировать поэтапный переход, откат в доступное время и информирование клиентов.
- Читать: Demystifying evals for AI agents (Anthropic) · Site Reliability Engineering (Google)
- Клиент жалуется, что чат-бот на восьми GPU слишком медленный и дорогой. У вас неделя работы с ним; как её использовать?
- Прикладной сценарий · Senior · ✍ Ответ · Предложить правку
- Что проверяет: Умеете ли вы найти узкие места и оценивать изменения через полезный результат для клиента.
- Сильный ответ покрывает:
- Измерить реальную нагрузку, распределение задержек, утилизацию и стоимость успешной задачи.
- Провести профилирование до выбора изменений сервинга, модели, поиска или интерфейса.
- Проверить улучшения на той же нагрузке с ограничениями по качеству и надёжности.
- Читать: Site Reliability Engineering (Google) · Rules of Machine Learning (Google for Developers)
- Компания хочет за четыре недели запустить ответы по двум миллионам внутренних файлов без вывода данных за пределы VPC. Как определить объём пилота?
- Прикладной сценарий · Senior · ✍ Ответ · Предложить правку
- Что проверяет: Умеете ли вы согласовать объём с учётом прав доступа, ограничений среды и измеримой пользы.
- Сильный ответ покрывает:
- Уточнить приоритетные документы, права, разрешённые сервисы и самые ценные запросы.
- Выбрать представительную часть данных и реализуемый сквозной процесс.
- Согласовать приёмочные проверки, ответственность за эксплуатацию и пределы выводов пилота.
- Читать: Architect multitenant solutions on Azure (Microsoft Learn) · AI Risk Management Framework (NIST)
- Корпоративный клиент сообщает, что Claude галлюцинирует в ассистенте с поиском по базе знаний. Как вы начнёте разбор ошибок?
- Прикладной сценарий · Senior · Где спрашивали: Anthropic † · ✍ Ответ · Предложить правку
- Что проверяет: Различаете ли вы ошибки поиска, неподтверждённую генерацию и неверно понятые ожидания пользователя.
- Сильный ответ покрывает:
- Собрать конкретные неудачные случаи с полными трассировками: вопрос, найденные фрагменты, собранный промпт и ответ.
- Отнести каждый к промаху поиска, ответу без опоры на найденный текст или вопросу, на который в корпусе нет ответа.
- Показать распределение в цифрах, сначала устранить преобладающую причину и сохранить случаи как регрессионный набор.
- Читать: Your AI Product Needs Evals (Hamel Husain)
- Грузовая железная дорога теряет существенную выручку из-за внезапных простоев локомотивов. Превратите проблему в инженерный план.
- Прикладной сценарий · Senior · Где спрашивали: Palantir † · Предложить правку
- Что проверяет: Умеете ли вы связать эксплуатационные решения, пригодные данные и пользу вмешательства.
- Сильный ответ покрывает:
- Спросить, какие отказы обходятся дороже всего и какое решение изменило бы раннее предупреждение.
- Проверить, размечены ли отказы в данных датчиков и журналах ремонта, и сопоставить цену ложной тревоги с пропущенной поломкой.
- Завершить пилотом на части парка, сравнив внеплановые простои и затраты с сопоставимыми локомотивами.
- Читать: Rules of Machine Learning (Google for Developers) · Site Reliability Engineering (Google)
- Как бы вы спроектировали систему улучшения дорожного движения в Нью-Йорке?
- System design · Senior · Где спрашивали: Palantir † · Предложить правку
- Что проверяет: Умеете ли вы разложить неопределённую городскую задачу на измеримые меры.
- Сильный ответ покрывает:
- Уточнить, что значит улучшить движение и для кого: время в пути, безопасность, выбросы, автобусы или грузы.
- Выбрать рычаги, которыми система реально управляет, например фазы светофоров или выделенные полосы, и данные для них.
- Оценить один коридор против сопоставимого контрольного, следя за вытеснением потока на соседние улицы.
- Читать: User Needs + Defining Success (Google PAIR) · Data and AI Ethics Framework (Government Digital Service)
- Спроектируйте синхронизацию двух систем с данными о сотрудниках.
- System design · Senior · Где спрашивали: Palantir † · Предложить правку
- Что проверяет: Умеете ли вы определить владельца записи, правила конфликтов и восстановление.
- Сильный ответ покрывает:
- Назначить владельца для каждого поля, а не для записи целиком, и устойчивый идентификатор, связывающий обе системы.
- Передавать изменения идемпотентно с упорядочиванием по версии и определить, какая сторона побеждает в каждом конфликте.
- Регулярно сверять системы, безопасно переигрывать изменения после сбоев и отправлять несопоставленные или удалённые записи на разбор.
- Читать: Designing robust and predictable APIs with idempotency (Stripe)
- Спроектируйте приложение для регистрации видов при исследовании незнакомой местности.
- System design · Senior · Где спрашивали: Palantir † · Предложить правку
- Что проверяет: Умеете ли вы выяснить полевые ограничения и обеспечить надёжный сбор данных.
- Сильный ответ покрывает:
- Сначала выяснить полевые ограничения: связь, заряд, перчатки, освещение и кто именно ведёт записи.
- Проектировать запись для работы без сети, с координатами, временем и фото, а конфликты синхронизации разбирать позже.
- Хранить подсказку модели отдельно от определения наблюдателя и сверять выборку записей с экспертами.
- Читать: Build an offline-first app (Android Developers)
- Клиент хочет заменить API закрытой передовой модели открытой моделью. Как вы организуете проект?
- Прикладной сценарий · Senior · Предложить правку
- Что проверяет: Проверяет ли план миграции качество, эксплуатационные расходы и предположения об ответственности.
- Сильный ответ покрывает:
- Спросить, зачем менять: цена, контроль над данными, кастомизация или зависимость от поставщика.
- Сравнить качество на их собственных задачах и полную стоимость эксплуатации: сервинг, обновления и людей.
- Закрыть теневым прогоном с согласованными порогами и названными владельцами сервинга и обновлений.
- Читать: Evaluation best practices (OpenAI API documentation) · vLLM documentation (vLLM project)
- Заказчик в робототехнике просит 50 000 часов демонстраций для двенадцати задач и трёх типов роботов. Как организовать сбор и отбирать данные?
- Прикладной сценарий · Senior · Предложить правку
- Что проверяет: Связываете ли вы объём сбора с покрытием и пригодностью демонстраций, а не только часами.
- Сильный ответ покрывает:
- Спросить, что политика должна уметь и как оценивается успех на каждой задаче.
- Распределять сбор по покрытию задач, роботов и условий, а не поровну часов на каждую ячейку.
- Отбрасывать неудачные и небрежные демонстрации и обучать на первых партиях, чтобы видеть, какие данные повышают успех.
- Читать: Open X-Embodiment: Robotic Learning Datasets and RT-X Models (Open X-Embodiment Collaboration, arXiv)
- Оцените стоимость и сроки AI-проверки 5 000 документов в рамках due diligence. Какое улучшение вы проверите первым?
- Прикладной сценарий · Senior · Предложить правку
- Что проверяет: Показывают ли оценки предположения о нагрузке и основной источник затрат.
- Сильный ответ покрывает:
- Назвать предположения о нагрузке: страниц на документ, токенов на страницу, проходов и вопросов на документ.
- Сравнить стоимость модели со временем проверки юристами, которое может доминировать, и найти узкое место по срокам.
- Первым проверить то, что снижает главную статью затрат, например сортировку документов для проверки, на размеченной выборке.
- Читать: Cost Optimization Pillar — AWS Well-Architected Framework (Amazon Web Services)
- Юрист сообщает, что ассистент пропустил условие о смене контроля при проверке договора. Как вы разберёте случай?
- Прикладной сценарий · Senior · Предложить правку
- Что проверяет: Умеете ли вы проследить ошибку от загрузки и поиска до анализа и проверки.
- Сильный ответ покрывает:
- Воспроизвести конкретный случай: версия документа, запрос, найденные фрагменты и вывод, который видел юрист.
- Найти этап сбоя: разбор файла, разбиение, поиск, рассуждение над косвенной формулировкой или проверка человеком.
- Превратить случай в регрессионный тест, поискать такой же пропуск в похожих договорах и предупредить затронутых пользователей.
- Читать: Contextual Retrieval in AI Systems (Anthropic) · Your AI Product Needs Evals (Hamel Husain)
- После вводного объяснения инсайдерской торговли расскажите, как бы вы её выявляли: какие данные вам нужны, что вы спросите у клиента и какие закономерности будете искать?
- Прикладной сценарий · Где спрашивали: Palantir 🗣 · Предложить правку
- Что проверяет: Умение превратить размытую задачу с высокими ставками в ограниченную первую систему, которую можно проверить.
- Сильный ответ покрывает:
- Спросить, какие инструменты и данные есть и что аналитик должен решать по каждому сигналу.
- Начать с одной закономерности: необычные сделки связанных счетов перед существенными объявлениями, влияющими на цену.
- Проверить на подтверждённых прошлых случаях и ограничить поток сигналов тем, что аналитики успевают разобрать.
- Читать: Insider Trading Detection: FINRA’s Vital Role in Ensuring Market Integrity (FINRA)
AI-инженерия¶
- Вместо раунда кодинга соберите proof of concept для клиентского сценария внутри собственного агентного продукта компании и покажите, как клиент будет им пользоваться.
- Прикладной сценарий · Где спрашивали: Cognition † · Предложить правку
- Что проверяет: Понимаете ли вы, как клиенты на самом деле пользуются продуктом, а не только как писать код.
- Сильный ответ покрывает:
- Спросить, кто пользователь у клиента и какую задачу из его дня продукт берёт на себя.
- Собирать на штатных возможностях продукта, как сделал бы клиент, а не на своём коде в обход них.
- Показать сценарий целиком на реалистичных данных, включая сбой и то, как пользователь из него выходит.
- Читать: How the alpha phase works (Government Digital Service)
- Проведите ограниченный по времени звонок с условным клиентом: выясните настоящую проблему, предложите подход и договоритесь о следующих шагах.
- Прикладной сценарий · Где спрашивали: Cognition † · Предложить правку
- Что проверяет: Умение вести разговор с клиентом в условиях нехватки времени и прийти к конкретному плану.
- Сильный ответ покрывает:
- Начать с вопросов о нужном результате, текущем процессе и о том, кто принимает решение.
- Предложить минимальный подход, проверяющий их главный риск, и назвать, чего делать не будете.
- Закончить следующими шагами с датами, ответственными, критериями успеха и данными, которые они пришлют.
- Читать: User Needs + Defining Success (Google PAIR) · How to recruit UX Research participants (GitLab Handbook)
- За несколько минут встройте незнакомую библиотеку в существующую систему, затем спроектируйте систему вокруг неё с учётом масштаба, хранения данных и отказов.
- Прикладной сценарий · Где спрашивали: Palantir 🗣 · Предложить правку
- Что проверяет: Умение быстро освоить незнакомый инструмент и перенести его в обоснованные проектные решения.
- Сильный ответ покрывает:
- Разобрать основную абстракцию и один минимальный пример, затем спрятать библиотеку за тонким интерфейсом.
- Перенести узнанное о её ограничениях, состоянии и ошибках в решения о масштабе и хранении.
- Назвать, как система отказывает, предусмотреть повторы, тайм-ауты и backpressure и протестировать путь интеграции.
- Читать: Working Inside Existing Systems (Palantir Careers)
- Напишите промпт, который извлекает период из запроса клиента и различает почти одинаковые формулировки вроде «с первого числа», «по первое число» и «за первое число».
- Прикладной сценарий · Где спрашивали: Точка ✅ · Предложить правку
- Что проверяет: Умение учитывать неоднозначности конкретного языка и проверять промпт на трудных случаях.
- Сильный ответ покрывает:
- Определить формат вывода: начальная и конечная даты, включительность границ и дата отсчёта.
- Явно описать, как предлоги «с», «по» и «за» задают каждую границу, и дать контрастные примеры.
- Проверить на наборе почти одинаковых формулировок и относительных дат и переспрашивать клиента при неоднозначности.
- Читать: Evaluation best practices (OpenAI API documentation)
AI-лидерство¶
- Как вы объясните сложный результат AI-исследования нетехнической аудитории?
- Прикладной сценарий · Senior · Где спрашивали: Anthropic † · Предложить правку
- Что проверяет: Умеете ли вы объяснить значение и ограничения результата без преувеличений.
- Сильный ответ покрывает:
- Выяснить, кто аудитория и какое её решение должен помочь принять этот результат.
- Жертвовать деталями, но не точностью: одна честная аналогия, что измеряли и с чем сравнивали.
- Назвать, чего результат не показывает, и проверить, что слушатели могут пересказать его пределы.
- Читать: Data and AI Ethics Framework (Government Digital Service)
- Потенциальный клиент уже использует GPU H100. В каких случаях вы посоветуете сохранить текущую систему?
- Прикладной сценарий · Senior · Предложить правку
- Что проверяет: Умеете ли вы отказаться от миграции, если экономика клиента её не оправдывает.
- Сильный ответ покрывает:
- Спросить, что вызвало разговор: стоимость, нехватка мощностей, задержка или давление поставщика.
- Сравнить стоимость полезного результата с учётом затрат на миграцию, риска портирования и оставшихся обязательств по оборудованию.
- Советовать сохранить систему, если выигрыш не покрывает затрат на переход, и назвать, что заставит вернуться к вопросу.
- Читать: Cost Optimization Pillar — AWS Well-Architected Framework (Amazon Web Services) · Managing technical lock-in in the cloud (Government Digital Service and Central Digital and Data Office)
- Сеть клиник вручную записывает пациентов на амбулаторный приём по телефону. Что вы предложите создать?
- Прикладной сценарий · Senior · Предложить правку
- Что проверяет: Учитываете ли вы рабочий процесс, интеграцию и безопасную обработку исключений.
- Сильный ответ покрывает:
- Спросить, как запись устроена сейчас: кто звонит, по каким правилам и в какой системе хранится расписание.
- Записывать в существующую систему расписания, автоматизировать типовые записи, а срочные и медицинские вопросы передавать сотрудникам.
- Запустить пилот в одной клинике, измеряя завершённые записи, неявки и правильность эскалаций относительно телефонного процесса.
- Читать: NHS service standard (NHS Digital Service Manual)
- Контакт-центр хочет заменить телефонное меню голосовыми агентами. Как вы проведёте проект?
- Прикладной сценарий · Senior · ✍ Ответ · Предложить правку
- Что проверяет: Умеете ли вы одновременно проработать сценарии, перевод на оператора и готовность эксплуатации.
- Сильный ответ покрывает:
- Начать с самых частых обращений и честно определить долю самостоятельных решений с учётом переводов.
- Сделать перевод на человека полноценным путём, который несёт контекст и не зацикливается.
- Спланировать готовность эксплуатации: цели по задержке, перебивание, мониторинг и откат.
- Читать: Building Effective AI Agents (Anthropic)
- Государственное ведомство хочет перевести социальную услугу с бумаги и колл-центра на многоязычного ассистента в своём контуре. Как определить объём работ?
- Прикладной сценарий · Senior · Предложить правку
- Что проверяет: Учитываете ли вы доступность услуги, покрытие языков и ограничения размещения.
- Сильный ответ покрывает:
- Выяснить языки, каналы и уровень грамотности пользователей и то, кому чат недоступен вовсе.
- Соотнести ограничения на размер модели в своём контуре с качеством на каждом языке и сохранить телефон и бумажный путь.
- Принимать работу по успешности задач на каждом языке с проверкой носителями, оставив решения о праве на пособие сотрудникам.
- Читать: AI Risk Management Framework (NIST)