RAG и поиск

English · Русский · AI Interview Atlas › Темы

Ответы с опорой на документы: чанкинг, гибридный поиск, реранкинг, права доступа, свежесть и атрибуция.

На этой странице: Оба трека (2) · AI-инженерия (12)

Оба трека

• Когда поисковому приложению стоит планировать несколько поисков вместо одного фиксированного вызова?
  • Знания · Предложить правку
  • Что проверяет: Умение обосновать добавочную стоимость и риски итеративного поиска.
  • Сильный ответ покрывает:
    • Итерировать, когда следующие запросы зависят от найденного ранее: многошаговые вопросы, сравнение сущностей, недоопределённые формулировки.
    • Сопоставить добавочную задержку, токены и накопление ошибок — уход запроса в сторону, зацикливание — с измеренным ростом полноты.
    • Сравнить однократный и итеративный поиск по типам вопросов: точность, полнота найденных доказательств, число вызовов на ответ и стоимость.
  • Читать: ReAct: Synergizing Reasoning and Acting in Language Models (Yao et al., arXiv) · How we built our multi-agent research system (Anthropic)
• Спроектируйте поиск с соблюдением прав исходной системы, включая изменения разрешений и общие кеши.
  • System design · Где спрашивали: Databricks †, Microsoft †, Palantir † · ✍ Ответ · Предложить правку
  • Что проверяет: Умение обеспечить проверку доступа на всём пути до ответа.
  • Сильный ответ покрывает:
    • Передавать идентичность и проверять доступ до попадания текста в модель.
    • Согласовать изменения прав, удаления и ключи кеша с политикой доступа.
    • Проверить запрет и отзыв доступа; ссылки и логи должны соблюдать ту же границу.
  • Читать: Document-level access control (Microsoft Learn)

AI-инженерия

• Выберите подход к разбиению технической документации на чанки, сохраняя смысл на границах разделов.
  • Прикладной сценарий · ✍ Ответ · Предложить правку
  • Что проверяет: Умение выбирать размер чанков по структуре документов и результатам поиска.
  • Сильный ответ покрывает:
    • Сохранить заголовки, позиции в источнике и контекст для понимания чанка.
    • Сравнить размеры и перекрытия на характерных вопросах.
    • Измерить пропуски поиска и качество ответов, включая таблицы и границы чанков.
  • Читать: Contextual Retrieval in AI Systems (Anthropic)
• Когда стоит объединить лексический и векторный поиск и как свести их ранжирование?
  • Знания · Где спрашивали: Microsoft †, Perplexity † · ✍ Ответ · Предложить правку
  • Что проверяет: Умение учитывать точные термины и смысловое сходство.
  • Сильный ответ покрывает:
    • Объяснить пользу лексического поиска для идентификаторов и векторного для перефразировок.
    • Свести ранжирование, не предполагая сопоставимости исходных оценок.
    • Проверить вклад каждого поиска и переранжирования на фиксированном наборе релевантности.
  • Читать: Contextual Retrieval in AI Systems (Anthropic)
• Где разместить cross-encoder reranker в поисковом пайплайне и когда выигрыш качества оправдывает задержку?
  • Знания · Где спрашивали: Microsoft †, Perplexity † · ✍ Ответ · Предложить правку
  • Что проверяет: Умение сбалансировать число кандидатов, полноту поиска и стоимость переранжирования.
  • Сильный ответ покрывает:
    • Сначала получить широкий набор кандидатов, затем оценить пары запроса и документа reranker-ом.
    • Отдельно измерить полноту первого поиска: reranker не вернёт документ, которого нет на входе.
    • Сравнить число кандидатов и размер итогового контекста по качеству на отложенных вопросах и полной задержке.
  • Читать: Contextual Retrieval in AI Systems (Anthropic)
• Как отдельно оценить поиск документов и генерацию ответа в RAG-приложении?
  • Прикладной сценарий · ✍ Ответ · Предложить правку
  • Что проверяет: Умение локализовать ошибки на правильном этапе.
  • Сильный ответ покрывает:
    • Подготовить вопросы с релевантными фрагментами и критериями ответа.
    • Отдельно измерять полноту поиска, подтверждённость и правильность ответа.
    • Подставить эталонные фрагменты, чтобы отличить ошибки поиска от генерации.
  • Читать: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., arXiv) · Demystifying evals for AI agents (Anthropic)
• Объясните поиск через гипотетический документ и способ проверить пользу на вашем распределении запросов.
  • Знания · ✍ Ответ · Предложить правку
  • Что проверяет: Умение проверять полезность генерируемого расширения запроса.
  • Сильный ответ покрывает:
    • Сгенерировать гипотетический документ, получить его embedding и найти близкие реальные документы корпуса.
    • Считать сгенерированный документ средством поиска, но не фактическим источником ответа.
    • Сравнить с поиском по исходному запросу на характерной выборке: релевантность, качество ответа и добавленная задержка.
  • Читать: Precise Zero-Shot Dense Retrieval without Relevance Labels (Gao et al., arXiv)
• Качество поиска падает по мере изменения корпуса. Как выявить дрейф эмбеддингов и отличить его от ошибок индексации?
  • Прикладной сценарий · Предложить правку
  • Что проверяет: Умение диагностировать по стабильным наборам релевантности и срезам трафика.
  • Сильный ответ покрывает:
    • Держать замороженный набор релевантности и снимок корпуса: стабильный результат на них оправдывает модель и указывает на новый контент или индексацию.
    • Проверить индексацию напрямую: число документов против источника, версию модели эмбеддингов у каждого вектора, сбои парсинга, полноту ANN против точного поиска.
    • Разрезать продовый трафик по возрасту и теме документов: промахи по новым терминам, которые находит лексический поиск, указывают на настоящий дрейф.
  • Читать: Rules of Machine Learning (Google for Developers) · Faiss indexes (Faiss maintainers)
• Сравните точный поиск, HNSW и IVF-PQ для индекса эмбеддингов при ограничениях памяти, полноты и задержки.
  • Знания · ✍ Ответ · Предложить правку
  • Что проверяет: Умение проверять приближённый поиск относительно точного эталона.
  • Сильный ответ покрывает:
    • Использовать точный поиск на выборке как эталон полноты.
    • Сравнить обход графа с грубыми кластерами и product quantisation.
    • Измерить память, стоимость обновлений и поиск с фильтрами при целевой задержке.
  • Читать: Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs (Malkov and Yashunin, arXiv) · Faiss indexes (Faiss maintainers)
• Как индексировать таблицы, схемы и многоколоночные страницы, сохраняя их связи с окружающим текстом?
  • System design · Предложить правку
  • Что проверяет: Учёт ошибок парсинга и структуры документа до построения эмбеддингов.
  • Сильный ответ покрывает:
    • Восстановить макет до эмбеддингов: порядок чтения по колонкам, структуру таблиц с заголовками, подписи рисунков с координатами на странице.
    • Индексировать таблицы и рисунки как связанные единицы с контекстом заголовков и сгенерированными описаниями, привязав их к ссылающимся абзацам.
    • Проверить парсинг на выборке страниц против отрисованных оригиналов, затем оценить поиск на вопросах, ответ на которые есть только в таблицах или рисунках.
  • Читать: Contextual Retrieval in AI Systems (Anthropic)
• Спроектируйте непрерывное обновление индекса с изменениями, удалениями и запросами во время перестроения.
  • System design · Где спрашивали: Perplexity † · ✍ Ответ · Предложить правку
  • Что проверяет: Умение задать гарантии согласованности и измеримый лаг свежести.
  • Сильный ответ покрывает:
    • Идемпотентно применять упорядоченные изменения по ID и версии документа; задать момент видимости полного нового набора чанков.
    • Проверять удаления и отзыв доступа при запросе; пересобирать из согласованного снимка, догонять изменения и проверять до смены read alias.
    • Измерять задержку от источника до поиска, сверять количества, характерные запросы и права; откат не должен возвращать удалённое или запрещённое содержимое.
  • Читать: Aliases (Elastic) · Document-level access control (Microsoft Learn)
• Как связать каждое фактическое утверждение ответа с подтверждающим найденным фрагментом?
  • System design · Где спрашивали: Perplexity † · ✍ Ответ · Предложить правку
  • Что проверяет: Умение проверять, подтверждает ли ссылка утверждение.
  • Сильный ответ покрывает:
    • Привязывать каждое утверждение к идентификатору фрагмента при генерации, а не добавлять ссылки в конце.
    • Проверять, что процитированный фрагмент влечёт утверждение, до показа ответа.
    • Определить поведение, когда подтверждения нет: убрать утверждение, помечать как неподтверждённое или отказаться отвечать.
  • Читать: Patterns for Building LLM-based Systems & Products (Eugene Yan)
• Пользователь спрашивает число открытых заказов, заблокированных проблемами поставщика. Почему поиск документов может ошибиться и какой механизм должен отвечать?
  • Прикладной сценарий · Где спрашивали: Palantir † · Предложить правку
  • Что проверяет: Умение отличать структурированную агрегацию от семантического поиска.
  • Сильный ответ покрывает:
    • Объяснить провал top-k поиска: он возвращает похожие фрагменты, а не полный отфильтрованный набор, поэтому любой подсчёт — лишь выборка.
    • Направить запрос в систему учёта: управляемый запрос по статусу заказа и причине блокировки, а модель лишь переводит намерение.
    • Уточнить, что считается блокировкой из-за поставщика, показать запрос и момент среза данных и проверить на заранее известных значениях.
  • Читать: Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows (Lei et al., arXiv) · Table Expressions (PostgreSQL Global Development Group)
• Как использовать список лекарств пациента для распознавания названий, не заставляя систему добавлять не произнесённые препараты?
  • Прикладной сценарий · Предложить правку
  • Что проверяет: Умение учитывать риск подтверждающего смещения при использовании контекста.
  • Сильный ответ покрывает:
    • Использовать список как ограниченное смещение декодирования в пользу акустически правдоподобных совпадений, а не как текст для вставки.
    • Защититься от подтверждающего смещения: сравнивать гипотезы со смещением и без и отправлять на проверку препараты из списка со слабой акустической опорой.
    • Проверить случаи с препаратом из списка, новым препаратом вне списка и без упоминания; подобрать силу смещения по полноте против вставок и подмен.
  • Читать: Improve recognition accuracy with phrase list (Microsoft Learn) · Ethics and governance of artificial intelligence for health: Guidance on large multi-modal models (World Health Organization)

← Инференс, serving и стоимость · Агенты, инструменты и протоколы →