Агенты, инструменты и протоколы¶
English · Русский · AI Interview Atlas › Темы
Агентные циклы, дизайн инструментов, память, завершение, одобрение человеком и протоколы вроде MCP.
На этой странице: Оба трека (4) · AI-инженерия (15)
Оба трека¶
- Когда разделение работы между агентами улучшает результат, а когда преобладают затраты на координацию?
- Знания · ✍ Ответ · Предложить правку
- Что проверяет: Умение учитывать независимость задач и конфликты общего состояния.
- Сильный ответ покрывает:
- Выделить независимые подзадачи, результаты которых объединяются без частого обновления общего состояния.
- Задать границы делегирования, критерии готовности и синтез с проверкой противоречащих выводов.
- Сравнить с одним агентом при сопоставимом общем бюджете; учесть повторы работы, ошибки координации, стоимость и задержку.
- Читать: How we built our multi-agent research system (Anthropic)
- Как сделать действия агента в production обратимыми там, где это возможно, и проверяемыми там, где откат невозможен?
- System design · Где спрашивали: Palantir † · ✍ Ответ · Предложить правку
- Что проверяет: Умение заранее продумать компенсационные действия и журнал исполнения.
- Сильный ответ покрывает:
- До выпуска инструмента отнести каждое действие к обратимым, компенсируемым в пределах окна или необратимым.
- Предпочитать встроенную отмену: черновики, мягкое удаление, отложенную отправку; для остального регистрировать проверенную компенсацию.
- До действия писать намерение, точные аргументы и автора разрешения в журнал только на добавление; репетировать восстановление по нему.
- Читать: Designing robust and predictable APIs with idempotency (Stripe) · Compensating Transaction pattern (Microsoft Learn)
- Спроектируйте подтверждение человеком значимых действий агента, связав разрешение с конкретным исполняемым действием.
- System design · Где спрашивали: OpenAI †, Palantir † · ✍ Ответ · Предложить правку
- Что проверяет: Умение обеспечить контроль разрешений вне модели.
- Сильный ответ покрывает:
- Показать конкретное действие, адресата и последствия до подтверждения.
- Связать разрешение с проверенными аргументами и повторно проверить права при исполнении.
- Записать решение и результат; аннулировать разрешение при существенном изменении действия.
- Читать: Building Effective AI Agents (Anthropic) · Designing robust and predictable APIs with idempotency (Stripe)
- Спроектируйте агента, создающего и обновляющего наряды в действующей ERP без дублирования или незаметного искажения операций.
- System design · Где спрашивали: Palantir † · ✍ Ответ · Предложить правку
- Что проверяет: Умение сохранить бизнес-инварианты при неопределённости модели и сети.
- Сильный ответ покрывает:
- Оставить модели только предложения: типизированную команду, проверенную по бизнес-правилам ERP до любой записи.
- Выводить стабильный бизнес-ключ для идемпотентного создания и обновлять с проверкой версии, а не перезаписью вслепую.
- Сверять неоднозначные исходы до повтора, журналировать предложение и эффект, проверить дубли событий и одновременные правки.
- Читать: Designing robust and predictable APIs with idempotency (Stripe)
AI-инженерия¶
- Что даёт чередование рассуждений и наблюдений от инструментов по сравнению с одними рассуждениями модели?
- Знания · ✍ Ответ · Предложить правку
- Что проверяет: Понимание влияния внешней обратной связи на следующее действие.
- Сильный ответ покрывает:
- Отличать запланированное действие от наблюдения, возвращённого средой.
- Использовать наблюдения для следующего шага и выявления неверных предположений.
- Обсудить ошибки инструментов и задержку повторных взаимодействий.
- Читать: ReAct: Synergizing Reasoning and Acting in Language Models (Yao et al., arXiv)
- Спроектируйте восстановление после ошибок и тайм-аутов инструментов, включая случай, когда операция уже изменила внешнее состояние.
- System design · Где спрашивали: OpenAI † · ✍ Ответ · Предложить правку
- Что проверяет: Умение сохранить корректность при повторных попытках.
- Сильный ответ покрывает:
- Различать временные, постоянные и неопределённые исходы до повтора.
- Использовать ключи идемпотентности или сверять состояние после неопределённых записей.
- Ограничить попытки и время; добавить backoff, jitter и эскалацию.
- Читать: Designing robust and predictable APIs with idempotency (Stripe)
- Чем ответ по схеме отличается от function calling и какой компонент действительно исполняет действие?
- Знания · ✍ Ответ · Предложить правку
- Что проверяет: Умение отличать валидный формат от разрешённого исполнения.
- Сильный ответ покрывает:
- Отделить ограничение формата ответа от запроса инструмента; ни то, ни другое само не исполняет и не разрешает действие.
- Проверять статус завершения, схему и бизнес-правила, включая отказ, усечение и неподтверждённые основания; синтаксис не гарантирует факты.
- Исполнение, минимальные права, подтверждение и ограниченное восстановление держать в коде приложения; проверить внешне корректный, но запрещённый запрос.
- Читать: Tool use with Claude (Claude Platform Docs) · Structured outputs (Anthropic)
- Что MCP стандартизирует между AI-приложением и внешним сервисом сверх формата function call модели?
- Знания · Где спрашивали: Microsoft † · ✍ Ответ · Предложить правку
- Что проверяет: Умение отличать транспорт и возможности протокола от решений модели.
- Сильный ответ покрывает:
- Отделить выбор вызова моделью от того, как клиент находит сервер и обращается к нему.
- Назвать, что фиксирует протокол: транспорт, обнаружение возможностей и типизированные инструменты, ресурсы и промпты.
- Обсудить границу доверия: подключённый сервер поставляет и возможности, и недоверенный контент.
- Читать: Model Context Protocol specification (Model Context Protocol) · Security Best Practices (Model Context Protocol)
- Как выбрать, назвать и описать инструменты, чтобы модель верно выбирала операцию и аргументы?
- System design · Где спрашивали: Anthropic † · ✍ Ответ · Предложить правку
- Что проверяет: Умение уменьшать неоднозначность и измеримые ошибки вызовов.
- Сильный ответ покрывает:
- Выделить целостные операции с понятными именами и проверяемыми схемами.
- Возвращать ограниченные релевантные результаты и понятные ошибки.
- Проверять выбор инструмента и аргументов на реальных задачах и устранять неоднозначное дублирование.
- Читать: Writing effective tools for AI agents—using AI agents (Anthropic)
- Спроектируйте память агента, работающего в нескольких сессиях: что сохранять, извлекать, пересматривать и забывать?
- System design · Где спрашивали: Anthropic † · ✍ Ответ · Предложить правку
- Что проверяет: Умение различать долговременное состояние и текущий контекст.
- Сильный ответ покрывает:
- Отделить рабочий контекст одной сессии от состояния, которое должно её пережить.
- Записывать в память подтверждённые итоги с происхождением и возможностью правки, а не каждую реплику.
- Извлекать по релевантности текущей задаче, удаляя или замещая устаревшие записи.
- Читать: Effective context engineering for AI agents (Anthropic)
- Как агент должен решать, ответить сразу или получить свежие сведения через инструмент?
- Знания · Предложить правку
- Что проверяет: Учёт неопределённости, свежести и стоимости вызова.
- Сильный ответ покрывает:
- Сначала классифицировать вопрос: устойчивое знание, факты, зависящие от времени, или закрытые данные, которых у модели нет.
- Сопоставить цену неверного прямого ответа с задержкой, стоимостью и риском сбоя вызова.
- Измерить лишние и пропущенные вызовы на размеченных примерах; где требует политика, принудительно включать или запрещать инструменты.
- Читать: Tool use with Claude (Claude Platform Docs)
- Задайте критерии завершения и остановки агентного цикла, исключающие бесконечные затраты на незавершённую задачу.
- System design · ✍ Ответ · Предложить правку
- Что проверяет: Умение явно задать прогресс, бюджет и конечные состояния.
- Сильный ответ покрывает:
- Разделить успех, блокировку, отмену и исчерпание бюджета.
- Отслеживать прогресс по наблюдаемому состоянию с лимитами шагов, стоимости и времени.
- Сохранить состояние для продолжения или передачи без повторных побочных эффектов.
- Читать: Building Effective AI Agents (Anthropic)
- После долгой работы агент уверенно решает не ту задачу. Как найти момент расхождения состояния с целью и восстановить работу?
- Прикладной сценарий · ✍ Ответ · Предложить правку
- Что проверяет: Умение опираться на состояние задачи и наблюдения, а не уверенный текст.
- Сильный ответ покрывает:
- Сверить сохранённое состояние задачи и наблюдения инструментов с исходной целью, не опираясь на рассказ агента.
- Найти шаг, где резюме, сжатие контекста или неверно прочитанное наблюдение подменило ограничение.
- Продолжить с последней согласованной контрольной точки и добавить регулярную сверку прогресса с записанной целью.
- Читать: Effective context engineering for AI agents (Anthropic)
- Как для coding agent отделить вклад модели от вклада harness в надёжное завершение задачи?
- System design · Где спрашивали: Anthropic † · ✍ Ответ · Предложить правку
- Что проверяет: Умение установить источник улучшения контролируемым сравнением.
- Сильный ответ покрывает:
- Задать успех независимыми проверками поведения, границами исполнения и бюджетами, а не заявлением модели о готовности.
- Отдельно сравнить изменения модели и обвязки на тех же задачах с повторными попытками; версионировать контекст, инструменты и тестовое окружение.
- Разобрать трассы неверных правок, ослабления тестов, сбоев окружения и повторов; показать неопределённость и скрытые средним ошибки.
- Читать: Demystifying evals for AI agents (Anthropic)
- Почему корпоративному агенту может быть полезнее работать с онтологией бизнес-объектов и действий, чем с сырыми таблицами и документами?
- Знания · Где спрашивали: Palantir † · Предложить правку
- Что проверяет: Умение связать семантическую модель с допустимыми операциями и правами.
- Сильный ответ покрывает:
- Объяснить, что бизнес-объекты несут смысл, связи и идентичность, которые в сырых таблицах остаются неявными.
- Давать агенту типизированные действия с предусловиями и правами вместо произвольных запросов и записей.
- Учесть стоимость моделирования и поддержки и проверить, что происходит, когда задача выходит за рамки онтологии.
- Читать: Writing effective tools for AI agents—using AI agents (Anthropic)
- Соберите агента поддержки для вымышленной компании: выберите две функции из пяти, обоснуйте выбор и объясните, как будете измерять агента в продакшене.
- Прикладной сценарий · Где спрашивали: Sierra 🗣 · Предложить правку
- Что проверяет: Умение расставить приоритеты при ограниченном времени и спланировать измерение работающего агента.
- Сильный ответ покрывает:
- Выбрать две функции по объёму обращений, проверяемости решения и риску ошибочного действия.
- Назвать, что отложено и почему, и сохранить полностью рабочую передачу обращения человеку.
- Измерять реальное решение, повторные обращения, качество эскалаций и вредные действия, а не число закрытых диалогов.
- Читать: Demystifying evals for AI agents (Anthropic)
- Спроектируйте, как модель планирует и выполняет долгую задачу через инструменты MCP, оставаясь надёжной в пределах контекстного окна.
- System design · Где спрашивали: Anthropic † · Предложить правку
- Что проверяет: Умение управлять состоянием, сбоями и бюджетом контекста на протяжении долгого выполнения с инструментами.
- Сильный ответ покрывает:
- Хранить план и прогресс в долговременном состоянии вне контекста, а не только в истории диалога.
- Распределять бюджет контекста: отдавать результаты инструментов постранично и кратко, сжимать историю, подгружать детали по необходимости.
- Сделать шаги с инструментами возобновляемыми и идемпотентными; проверить восстановление после отказа сервера посреди выполнения.
- Читать: Model Context Protocol specification (Model Context Protocol) · Security Best Practices (Model Context Protocol) · Effective context engineering for AI agents (Anthropic)
- Какие параметры управляют генерацией языковой модели?
- Знания · Где спрашивали: Точка ✅ · Предложить правку
- Что проверяет: Отличаете ли вы настройки генерации модели от инструкций о роли, стиле или структуре ответа.
- Сильный ответ покрывает:
- Назвать параметры декодирования: температура, top-p, top-k, максимум выходных токенов и стоп-последовательности.
- Отделить их от инструкций в промпте о роли, тоне и формате; принудительная схема вывода — это настройка API.
- Показать влияние каждого параметра на повторных сэмплах и проверить, какие из них действительно принимает конкретный API.
- Читать: The Curious Case of Neural Text Degeneration (Holtzman et al., arXiv)
- За время долгой задачи контекст агента заполняется. Как вы решите, что остаётся в окне, что сворачивается в резюме, а что выносится наружу?
- System design · 🧪 сгенерировано по темам вакансий · ✍ Ответ · Предложить правку
- Что проверяет: Относитесь ли вы к контекстному окну как к бюджету с измеримой ценой, а не как к месту, которое нужно заполнить.
- Сильный ответ покрывает:
- Отделить то, что нужно следующему шагу, от того, что нужно только истории: держать цель, текущий план и последние наблюдения, а завершённые детали выносить в хранилище, по которому агент умеет искать.
- Сворачивать контекст на границах, которые вы выбрали сами, например после завершённой подзадачи, и дословно сохранять идентификаторы, открытые вопросы и принятые решения: именно их читает следующий шаг.
- Измерять цену: токены и задержку на шаг и успешность задачи по мере заполнения окна; полезный контекст обычно заметно меньше заявленного предела.
- Читать: Effective context engineering for AI agents (Anthropic) · Lost in the Middle: How Language Models Use Long Contexts (Liu et al., arXiv) · RULER: What's the Real Context Size of Your Long-Context Language Models? (Hsieh et al., arXiv)