Мультимодальность и голос¶
English · Русский · AI Interview Atlas › Темы
Vision-language модели, голосовые агенты в реальном времени, качество речи и мультимодальный поиск.
На этой странице: Оба трека (1) · AI-инженерия (13)
Оба трека¶
- Сравните каскад распознавания речи, текстовой модели и синтеза с единой speech-to-speech моделью.
- Знания · Предложить правку
- Что проверяет: Учёт задержки, управляемости и невербальной информации при выборе.
- Сильный ответ покрывает:
- Назвать, что теряется на текстовом узком месте: интонация, эмоции, паузы и признаки говорящего не доходят до модели каскада.
- Сопоставить проверяемые расшифровки, ограничители, вызовы инструментов и заменяемые компоненты каскада с задержкой и выразительностью единой модели.
- Сравнить оба варианта на одних и тех же диалогах: время до первого звука, успех задачи, следование инструкциям и возможность аудита.
- Читать: Moshi: a speech-text foundation model for real-time dialogue (Alexandre Defossez et al., arXiv) · Robust Speech Recognition via Large-Scale Weak Supervision (Radford et al., arXiv)
AI-инженерия¶
- Сравните проекционные слои, cross-attention и токенное представление для подключения изображений к языковой модели.
- Знания · Где спрашивали: Meta † · ✍ Ответ · Предложить правку
- Что проверяет: Умение различать кодирование изображения и объединение модальностей.
- Сильный ответ покрывает:
- Отделить visual encoder от интерфейса с языковой моделью.
- Сравнить проекцию эмбеддингов патчей, cross-attention к визуальным признакам и дискретные токены изображения.
- Обсудить бюджет визуальных токенов, пространственные детали и обучение выравниванию.
- Читать: Flamingo: a Visual Language Model for Few-Shot Learning (Alayrac et al., arXiv)
- Какие архитектурные решения и требования к данным меняются при переходе от отдельных изображений к видео?
- Знания · Где спрашивали: Meta † · Предложить правку
- Что проверяет: Учёт временной информации и стоимости выборки кадров.
- Сильный ответ покрывает:
- Посчитать бюджет визуальных токенов: кадры × токены на кадр быстро растут, поэтому выбрать частоту кадров, пулинг или tubelet-патчи под задачу.
- Кодировать время явно — метками времени или временными позициями — и обучать на клипах, где ответ зависит от порядка событий.
- Сравнить с базовыми вариантами по одному кадру и по перемешанным кадрам, чтобы убедиться, что модель вообще использует время.
- Читать: Flamingo: a Visual Language Model for Few-Shot Learning (Alayrac et al., arXiv)
- Составьте сквозной бюджет задержки голосового агента от определения конца реплики до воспроизведения ответа.
- System design · ✍ Ответ · Предложить правку
- Что проверяет: Учёт определения конца реплики, ASR, генерации, синтеза и сети.
- Сильный ответ покрывает:
- Перечислить все этапы до звука: определение конца реплики, распознавание, генерацию, синтез, сеть и воспроизведение.
- Считать бюджет до первого слышимого звука и совмещать этапы потоком вместо очереди.
- Отделить медианную цель от хвоста и определить поведение агента при превышении этапа.
- Читать: The Tail at Scale (Dean and Barroso, Google Research)
- Спроектируйте обработку перебивания, когда пользователь начинает говорить во время ответа агента.
- System design · Предложить правку
- Что проверяет: Умение согласовать остановку воспроизведения с состоянием диалога.
- Сильный ответ покрывает:
- Распознавать речь поверх воспроизведения с эхоподавлением и отличать короткие поддакивания от настоящего перебивания.
- При перебивании остановить воспроизведение и генерацию, записать в историю только реально проигранное и не откатывать уже выполненные действия инструментов.
- Измерить задержку остановки, ложные и пропущенные перебивания и по логам убедиться, что модель не считает услышанным непроигранный текст.
- Читать: How to use the Voice Live API (Microsoft Learn) · Moshi: a speech-text foundation model for real-time dialogue (Alexandre Defossez et al., arXiv)
- Как оценивать распознавание речи помимо WER, а синтез — при множестве допустимых вариантов звучания?
- Прикладной сценарий · Предложить правку
- Что проверяет: Умение отдельно измерять критические ошибки задачи и воспринимаемое качество.
- Сильный ответ покрывает:
- Оценивать распознавание по критичным для задачи токенам: ошибки в сущностях, числах и ключевых словах, вставки в тишине, точность интента.
- Оценивать синтез сравнением слушателями — попарно или по MOS — с калиброванными оценщиками, поскольку единственно верной волны нет.
- Добавить автоматические проверки по срезам: разборчивость через обратное распознавание, произношение нормализованных терминов и сходство голоса.
- Читать: Robust Speech Recognition via Large-Scale Weak Supervision (Radford et al., arXiv)
- Как улучшать и проверять распознавание смешанных языков в реплике и разных акцентов?
- Прикладной сценарий · ✍ Ответ · Предложить правку
- Что проверяет: Учёт покрытия групп и доменных ошибок в оценке.
- Сильный ответ покрывает:
- Собрать срезы по языкам, акцентам, шуму и переключению языков.
- Проверять ошибки сущностей и критичные для задачи ошибки наряду с общим WER.
- Проверять адаптацию на отложенных говорящих и доменах для выявления регрессий.
- Читать: Robust Speech Recognition via Large-Scale Weak Supervision (Radford et al., arXiv)
- Как выбирать границы частей синтезируемой речи и буфер воспроизведения при переменной задержке сети?
- System design · Предложить правку
- Что проверяет: Умение сбалансировать просодию, задержку первого звука и непрерывность.
- Сильный ответ покрывает:
- Резать синтез по границам клауз или знакам препинания с заглядыванием вперёд, оставляя короткую первую часть для быстрого первого звука.
- Задавать буфер воспроизведения по измеренному джиттеру: маленький опустошается и заикается, большой задерживает каждую реплику.
- Измерять время до первого звука, долю опустошений буфера и длительность пауз на воспроизведённых сетевых трассах, а также просодию на стыках.
- Читать: How to use the Voice Live API (Microsoft Learn) · Speech marks (Amazon Web Services)
- Спроектируйте диаризацию и назначение ролей в беседе, не приравнивая кластер голоса к личности.
- System design · Предложить правку
- Что проверяет: Умение различать сегментацию, кластеризацию и вывод о роли.
- Сильный ответ покрывает:
- Разделить этапы: детекция речи и смены говорящего, обработка наложений, эмбеддинги голоса, затем кластеризация при неизвестном числе говорящих.
- Считать кластеры анонимными метками: роль выводить из содержания и очерёдности реплик, а личность — только по регистрации голоса с согласия.
- Раскладывать ошибку диаризации на пропуски, ложные срабатывания и путаницу, включая наложения, и отдельно оценивать точность ролей.
- Читать: The Third DIHARD Diarization Challenge (Neville Ryant et al., arXiv)
- Спроектируйте поиск по текстам, изображениям и видео, задав сопоставимое представление запросов и результатов.
- System design · Предложить правку
- Что проверяет: Умение явно задать выравнивание модальностей и единицу поиска.
- Сильный ответ покрывает:
- Выровнять модальности контрастивными двойными энкодерами в одном пространстве или индексировать подписи, OCR и расшифровки как текст.
- Задать единицу поиска — сцены видео с метками времени или области изображений — и калибровать оценки с учётом разрыва между модальностями.
- Измерить recall@k для каждой пары модальностей запроса и результата и проверить, что смешанная выдача не предпочитает одну модальность.
- Читать: Learning Transferable Visual Models From Natural Language Supervision (Radford et al., arXiv) · Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning (Liang et al., arXiv)
- Как подготовить числа, аббревиатуры и неоднозначные письменные формы к синтезу речи, не меняя смысл?
- Прикладной сценарий · Предложить правку
- Что проверяет: Учёт контекста при нормализации произношения.
- Сильный ответ покрывает:
- Сначала классифицировать типы: количественные и порядковые числа, даты, валюты, единицы, телефоны, сокращения, аббревиатуры и омографы.
- Снимать неоднозначность по контексту и локали, включая согласование падежа в русском; ограничивать переписывание моделью грамматиками и словарями.
- Проверять, что каждое прочтение однозначно возвращается к исходному значению, и тестировать отобранный набор неоднозначных форм.
- Читать: RNN Approaches to Text Normalization: A Challenge (Sproat et al., arXiv)
- Спроектируйте дубляж с сохранением голосов говорящих и укладыванием перевода в тайминг исходного видео.
- System design · Предложить правку
- Что проверяет: Совместный учёт перевода, временного выравнивания и качества звука.
- Сильный ответ покрывает:
- Отделить речь от музыки и эффектов, затем распознать с пословными метками времени и провести диаризацию, чтобы каждый фрагмент сохранил говорящего.
- Ограничивать длину перевода длительностью фрагмента, предпочитая перефразирование сильному растяжению по времени; клонировать голос только с согласия.
- Измерить выход за тайминг, сходство голоса, адекватность перевода по оценке двуязычных экспертов и естественность после сведения.
- Читать: Seamless: Multilingual Expressive and Streaming Speech Translation (Seamless Communication et al., arXiv) · Text to speech transparency note (Microsoft Learn)
- Как улучшить распознавание шумной консультации с пересекающимися репликами и специализированной медицинской лексикой?
- Прикладной сценарий · Предложить правку
- Что проверяет: Умение отдельно диагностировать шум, наложение речи и редкие термины.
- Сильный ответ покрывает:
- Разложить ошибки по отношению сигнал/шум, участкам наложения речи и медицинским терминам, чтобы у каждой причины был свой показатель.
- Подбирать меры под причину: микрофоны и аугментация против шума, разделение источников против наложений, смещение словаря или дообучение для терминов.
- Проверять на отложенных врачах и кабинетах, считая вставленные термины и ошибки в дозировках, а не только общий WER.
- Читать: Robust Speech Recognition via Large-Scale Weak Supervision (Radford et al., arXiv) · Improve recognition accuracy with phrase list (Microsoft Learn) · Ethics and governance of artificial intelligence for health: Guidance on large multi-modal models (World Health Organization)
- Чем vision-language-action policy отличается от языковой модели, просто вызывающей внешние инструменты?
- Знания · Предложить правку
- Что проверяет: Понимание различий в представлении действий и обратной связи управления.
- Сильный ответ покрывает:
- Сравнить выходы: непрерывные команды движения из токенов действий или отдельной головы против символьных вызовов исполнителю.
- Объяснить замкнутый контур: политика заново наблюдает с частотой управления, поэтому важны задержка и накопление ошибок; инструмент отвечает один раз.
- Отметить сдвиг в оценке: данные демонстраций и доля успехов в симуляции или на реальном роботе с ограничениями безопасности.
- Читать: RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control (Brohan et al., arXiv)