Безопасность, защита и governance

English · Русский · AI Interview Atlas › Темы

Prompt injection, утечка данных, guardrails, приватность, red-teaming, а также регулирование и риск-фреймворки, за которые отвечают руководители.

На этой странице: Оба трека (11) · AI-лидерство (8)

Оба трека

• Ассистент читает внешнюю почту, ищет внутренние документы и отправляет ответы. Как атакующий может изменить его поведение и как ограничить ущерб?
  • System design · Senior · Где спрашивали: Anthropic † · ✍ Ответ · Предложить правку
  • Что проверяет: Умеете ли вы находить границы доверия и обеспечивать права доступа вне модели.
  • Сильный ответ покрывает:
    • Разделить содержимое недоверенного письма и полномочия на чтение или отправку.
    • Ограничить инструменты и адресатов; требовать явного подтверждения передачи чувствительных данных.
    • Проверять косвенную инъекцию и попытки утечки; одного промпта недостаточно.
  • Читать: OWASP Top 10 for LLM Applications (OWASP Gen AI Security Project) · The lethal trifecta for AI agents: private data, untrusted content, and external communication (Simon Willison) · Prompt injection (series) (Simon Willison)
• Как вы организуете безопасное внедрение AI-модели в промышленную эксплуатацию?
  • System design · Senior · Где спрашивали: Anthropic † · ✍ Ответ · Предложить правку
  • Что проверяет: Связываете ли вы оценку рисков с ответственностью за решение о выпуске.
  • Сильный ответ покрывает:
    • Определить назначение, затронутые группы и недопустимые последствия.
    • Назначить ответственных за оценку, принятие остаточного риска и инциденты.
    • Предусмотреть постепенный запуск, мониторинг и проверенный откат или остановку.
  • Читать: AI Risk Management Framework (NIST) · Site Reliability Engineering (Google) · Anthropic's Responsible Scaling Policy (Anthropic)
• Какие защитные меры нужны AI-системе, действующей от имени пользователя?
  • System design · Senior · Где спрашивали: OpenAI † · ✍ Ответ · Предложить правку
  • Что проверяет: Различаете ли вы предложенное моделью действие и разрешённое выполнение.
  • Сильный ответ покрывает:
    • Ограничить полномочия пользователем, ресурсом и операцией.
    • Показывать значимые действия для подтверждения и проверять политику при выполнении.
    • Фиксировать действия, ограничивать расходы и предусмотреть восстановление после частичного выполнения.
  • Читать: OWASP Top 10 for LLM Applications (OWASP Gen AI Security Project) · Designing robust and predictable APIs with idempotency (Stripe)
• Расскажите о ситуации, когда сроки вступили в противоречие с требованиями безопасности. Как вы приняли решение?
  • Поведенческий · Senior · Где спрашивали: Anthropic 🗣 · ✍ Ответ · Предложить правку
  • Что проверяет: Умеете ли вы явно обсуждать риски и ответственность под давлением сроков.
  • Сильный ответ покрывает:
    • Описать конкретную угрозу и доступные на тот момент данные.
    • Объяснить альтернативы, эскалацию и полномочия на принятие остаточного риска.
    • Честно изложить результат и последующие изменения в контроле.
  • Читать: AI Risk Management Framework (NIST)
• Спроектируйте систему выявления вредного контента в загрузках Facebook и Instagram.
  • System design · Senior · Где спрашивали: Meta † · Предложить правку
  • Что проверяет: Умеете ли вы объединить выявление нарушений, проверку и апелляции в нужном масштабе.
  • Сильный ответ покрывает:
    • Разделить вред по тяжести и для каждого уровня выбрать: блокировка при загрузке, ограничение показа или очередь на проверку.
    • Сочетать сравнение хешей для известного контента с классификаторами для нового, отправляя неуверенные случаи модераторам.
    • Измерять распространённость, точность по каждому правилу и долю решений, отменённых по апелляции, взвешивая ошибочные удаления и пропуски.
  • Читать: A Holistic Approach to Undesired Content Detection in the Real World (Markov et al., arXiv) · Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations (Inan et al., arXiv)
• Продуктовая команда просит исключение из правила безопасности AI для одного корпоративного клиента. Как оценить, согласовать и ограничить срок такого исключения?
  • Прикладной сценарий · Senior · 🧪 сгенерировано по темам вакансий · ✍ Ответ · Предложить правку
  • Что проверяет: Есть ли у исключения ответственный владелец, компенсирующие меры и решение о прекращении его действия.
  • Сильный ответ покрывает:
    • Установить, от чего защищает правило и кто несёт риск при его ослаблении.
    • Предпочесть узкую компенсирующую меру общему исключению и ограничить её этим клиентом.
    • Дать исключению названного владельца, дату истечения и пересмотр, способный отказать в продлении.
  • Читать: AI Act (European Commission)
• Два партнёра одной юридической фирмы консультируют разные стороны сделки. Как изолировать их AI-рабочие пространства?
  • System design · Senior · Предложить правку
  • Что проверяет: Понимаете ли вы, что границы доступа могут проходить внутри одного клиента.
  • Сильный ответ покрывает:
    • Считать границей дело, а не тенанта: утечка между сторонами сделки нарушает конфиденциальность клиента.
    • Применять её в момент поиска и держать память, кеши, логи и данные для дообучения отдельно по делам.
    • Проверять утечки между делами целевыми запросами, аудировать каждый доступ и следить за избыточной блокировкой общих знаний фирмы.
  • Читать: Document-level access control (Microsoft Learn) · Architect multitenant solutions on Azure (Microsoft Learn)
• Спроектируйте защитные меры для сервиса свободного общения с персонажами.
  • System design · Senior · Предложить правку
  • Что проверяет: Учитывают ли меры контроля длинные диалоги и эскалацию, а не только отдельные ответы.
  • Сильный ответ покрывает:
    • Назвать вред, который накапливается за много реплик: самоповреждение, сексуализированный контент с несовершеннолетними, эмоциональная зависимость.
    • Оценивать траекторию всего диалога, а не отдельные ответы, и эскалировать к кризисным ресурсам или проверке человеком.
    • Проверять на длинных сценарных диалогах, считая пропущенные эскалации и лишние прерывания безобидной ролевой игры.
  • Читать: Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations (Inan et al., arXiv) · AI Risk Management Framework (NIST)
• Когда стоит вмешиваться во время генерации токенов, а не фильтровать готовый ответ?
  • Знания · Senior · Предложить правку
  • Что проверяет: Учитываете ли вы риск раскрытия, задержку и последствия частичного ответа.
  • Сильный ответ покрывает:
    • Вмешиваться во время генерации, когда вред наносит уже сам показ текста: утечка секретов, опасные инструкции.
    • Взвесить задержку и риск раскрытия: буферизация задерживает поток, а отзыв показанного текста его не отменяет.
    • Измерять, сколько вредного текста показано до обрыва, ложные обрывы безобидных ответов и добавленную задержку.
  • Читать: Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations (Inan et al., arXiv) · How to use the Voice Live API (Microsoft Learn)
• Спроектируйте архитектуру безопасности обученной политики робота, работающего рядом с людьми.
  • System design · Senior · Предложить правку
  • Что проверяет: Предусматриваете ли вы независимые ограничения и безопасный режим отказа.
  • Сильный ответ покрывает:
    • Назвать опасности рядом с людьми: сила контакта, скорость, зоны защемления и неожиданное движение.
    • Поставить под обученной политикой независимый слой безопасности, обеспечивающий пределы скорости, силы и рабочих зон.
    • Сделать безопасную остановку режимом отказа, проверить её внесением неисправностей и считать лишние остановки ценой.
  • Читать: OSHA Technical Manual: Industrial Robot Systems and Industrial Robot System Safety (Occupational Safety and Health Administration) · Concrete Problems in AI Safety (Amodei et al., arXiv)
• Перед запуском ассистента с доступом к инструментам: как вы организуете состязательное тестирование и что позволит утверждать чистый результат?
  • System design · 🧪 сгенерировано по темам вакансий · ✍ Ответ · Предложить правку
  • Что проверяет: Планируется ли состязательное тестирование ради покрытия и связано ли оно с решением о запуске, и честно ли названы его границы.
  • Сильный ответ покрывает:
    • Сначала назвать ущерб и обе позиции атакующего — пользователь, злоупотребляющий продуктом, и недоверенный текст, который читает модель, — и подобрать случаи под каждую.
    • Сочетать автоматическую генерацию с людьми, которые систему не строили, и записывать все попытки, а не только удачные, чтобы покрытие было видно и его можно было повторить на следующей версии.
    • Связать находки с решением о запуске, назначив владельцев и исправления, и отличать заблокированный класс атак от одного переставшего работать примера.
  • Читать: OWASP Top 10 for LLM Applications (OWASP Gen AI Security Project) · AI Risk Management Framework (NIST) · Prompt injection (series) (Simon Willison)

AI-лидерство

• Как вы организуете безопасность потребительского продукта на основе генеративного AI?
  • Продуктовый кейс · Senior · Где спрашивали: OpenAI † · ✍ Ответ · Предложить правку
  • Что проверяет: Учитывают ли требования безопасности реальных пользователей и возможный вред.
  • Сильный ответ покрывает:
    • Выбрать конкретный сценарий, аудиторию и модель злоупотреблений.
    • Объединить продуктовые ограничения, оценку модели, жалобы и эскалацию человеку.
    • Измерять вредные ответы и необоснованные отказы по сегментам пользователей.
  • Читать: AI Risk Management Framework (NIST) · OWASP Top 10 for LLM Applications (OWASP Gen AI Security Project)
• Какую нерешённую проблему согласования AI с человеческими намерениями вы считаете наиболее важной и почему?
  • Знания · Senior · Где спрашивали: Anthropic † · Предложить правку
  • Что проверяет: Разделяете ли вы аргументы и предположения и понимаете ли, какие данные нужны.
  • Сильный ответ покрывает:
    • Выбрать одну конкретную проблему, например reward hacking или недостоверные рассуждения, и назвать её вред.
    • Отделить то, что показывают текущие данные, от экстраполяции и назвать предположение, на котором держится аргумент.
    • Назвать данные, которые изменили бы ваш приоритет, и измеримый исследовательский шаг к ним.
  • Читать: Scaling Laws for Reward Model Overoptimization (Gao, Schulman and Hilton, arXiv) · Reasoning Models Don't Always Say What They Think (Chen et al., arXiv) · Concrete Problems in AI Safety (Amodei et al., arXiv)
• Как вы сопоставите улучшение качества модели и снижение её интерпретируемости?
  • Прикладной сценарий · Senior · Где спрашивали: Anthropic † · ✍ Ответ · Предложить правку
  • Что проверяет: Связываете ли вы компромисс со сценарием применения, последствиями и доступными мерами контроля.
  • Сильный ответ покрывает:
    • Выяснить, зачем здесь интерпретируемость: объяснять решения затронутым людям, оспаривать их, валидировать модель или отлаживать.
    • Сопоставить выигрыш с последствиями ошибок и с мерами контроля, не зависящими от устройства модели.
    • Проверить выигрыш на важных срезах, с мониторингом результатов и более простой резервной моделью.
  • Читать: Supervisory Letter SR 11-7 on guidance on Model Risk Management (Board of Governors of the Federal Reserve System) · AI Risk Management Framework (NIST)
• Часть разметчиков сдаёт ответы чат-бота вместо самостоятельной разметки. Как это выявить и исправить?
  • Прикладной сценарий · Senior · Предложить правку
  • Что проверяет: Умеете ли вы проверить качество разметки без веры в безошибочный детектор AI-текста.
  • Сильный ответ покрывает:
    • Назвать вред: метки перестают отражать человеческое суждение и загрязняют данные для обучения и оценки.
    • Опираться на контрольные вопросы, согласованность и время выполнения, а не на детектор, чьи ложные срабатывания бьют по честным разметчикам.
    • Подтверждать случаи до санкций, переразметить затронутые данные и исправить стимулы и устройство задания, толкающие к обходу.
  • Читать: Prevalence and prevention of large language model use in crowd work (Veniamin Veselovsky et al., arXiv)
• AI-меморандум ссылается на судебное решение, которое утратило силу. На каком этапе это должен выявить процесс?
  • Прикладной сценарий · Senior · Предложить правку
  • Что проверяет: Проверяете ли вы актуальность правового основания наряду с точностью цитирования.
  • Сильный ответ покрывает:
    • Разделить две проверки: меморандум точно передаёт решение, и решение по-прежнему сохраняет силу.
    • Проверять последующую судьбу каждого решения по правовой базе с отметками об отмене при поиске и ещё раз перед подписанием.
    • Подмешивать отменённые решения в тестовые меморандумы, измеряя долю пойманных, и следить за флагами, которые юристы начинают игнорировать.
  • Читать: KeyCite (Thomson Reuters)
• Как организовать проверку возраста, если продукт для несовершеннолетних существенно отличается?
  • System design · Senior · Предложить правку
  • Что проверяет: Учитываете ли вы приватность, обход проверки и последствия ошибок определения возраста.
  • Сильный ответ покрывает:
    • Назвать цену каждой ошибки: несовершеннолетний во взрослом продукте против ошибочно ограниченного взрослого.
    • Наслаивать сигналы по уровню риска, переходя к верификации только при необходимости и храня минимум данных.
    • Измерять ошибки по возрастным группам, попытки обхода и отток из-за трудностей проверки и предусмотреть апелляцию.
  • Читать: Age assurance duties under the Online Safety Act (Ofcom)
• Спроектируйте защиту сервиса клонирования голоса: согласие, происхождение аудио и реагирование на злоупотребления.
  • System design · Senior · Предложить правку
  • Что проверяет: Рассматриваете ли вы согласие как проверяемое требование на всём жизненном цикле.
  • Сильный ответ покрывает:
    • Проверять согласие самого говорящего, например по живой произнесённой фразе, до создания голоса.
    • Привязать согласие к голосовой модели, чтобы отзыв её отключал, и маркировать или журналировать сгенерированное аудио.
    • Быстро разбирать жалобы на подделку и запросы на удаление, измеряя пойманные злоупотребления и ошибочные блокировки.
  • Читать: Text to speech transparency note (Microsoft Learn)
• В сгенерированной медицинской записи появился препарат, который не обсуждался на приёме. Как выявить и локализовать этот инцидент?
  • Прикладной сценарий · Senior · Предложить правку
  • Что проверяет: Ставите ли вы предотвращение вреда пациенту и проверку выше среднего качества текста.
  • Сильный ответ покрывает:
    • Отнестись к этому как к инциденту безопасности пациента: найти затронутые подписанные записи и выяснить, опиралось ли на них лечение.
    • Локализовать проверкой, помечающей препараты, которых нет в расшифровке, и требовать подтверждения врача до подписи.
    • Измерять неподтверждённые упоминания препаратов на аудируемых выборках и следить за усталостью от ложных предупреждений.
  • Читать: Ethics and governance of artificial intelligence for health: Guidance on large multi-modal models (World Health Organization) · Postmortem Culture: Learning from Failure (Google)

← Оценка качества и наблюдаемость · Мультимодальность и голос →