Xiaomi открыла исходный код модели Xiaomi-CocktailASR-1 для распознавания речи в записях с несколькими собеседниками. Главная особенность разработки — она может выделить и расшифровать речь конкретного человека по короткому голосовому образцу; о выпуске сообщила сама компания.
Как модель выделяет нужного собеседника
Задачу одновременной обработки нескольких голосов Xiaomi называет «проблемой коктейльной вечеринки». Обычные системы распознавания речи могут смешивать реплики, пропускать фрагменты разговора или ошибочно приписывать слова другому человеку, когда собеседники говорят одновременно.
Для работы с Xiaomi-CocktailASR-1 нужно сначала передать короткую аудиозапись голоса нужного человека. Затем модель использует её как эталон: ищет этого спикера в записи с несколькими участниками и формирует расшифровку только его реплик.
Такой подход может быть полезен при обработке интервью, встреч и других многоголосых записей, когда требуется получить текст высказываний одного участника, а не общую стенограмму разговора.
Архитектура и режимы работы
В основе Xiaomi-CocktailASR-1 лежит сквозная архитектура на базе LLM. По данным Xiaomi, модель показала результаты уровня лучших решений в нескольких тестах на распознавание речи нескольких спикеров и превзошла ряд существующих подходов для этой задачи.
Компания также заявляет, что при работе с записью одного человека Xiaomi-CocktailASR-1 сохраняет уровень обычных моделей автоматического распознавания речи. Если голос выбранного спикера в аудио отсутствует, система должна вернуть пустой текст вместо попытки расшифровать слова другого участника.
В модели предусмотрен режим chain-of-thought reasoning. Он позволяет просматривать рассуждения, связанные с транскрипцией, а не ограничиваться итоговым текстом.
Где доступна Xiaomi-CocktailASR-1
Исходный код Xiaomi-CocktailASR-1 опубликован на GitHub и Hugging Face. Разработчики могут изучить модель и опробовать её в собственных проектах.
Это очередная открытая ИИ-разработка Xiaomi после MiMo-V2-Flash и Xiaomi Robotics-0. Условия использования, поддерживаемые языки и требования к вычислительным ресурсам в исходном материале не раскрываются.
Ключевое преимущество Xiaomi-CocktailASR-1 — адресная расшифровка речи выбранного человека в многоголосой записи по голосовому образцу. При этом независимые результаты работы модели, а также сведения о её языковой поддержке пока не приводятся.
Читайте так же:
- Xiaomi анонсирует miclaw, автономного помощника с искусственным интеллектом для смартфонов
- Xiaomi анонсировала новый AI-агент для кодинга, который действительно помнит, что делал ранее
- Xiaomi AI и LLM: все модели, функции и главное, что нужно знать
