Мы - служба голосового ввода. Наша команда занимается работой над технологиями, которые впоследствии используются во всех продуктах Яндекса, где присутствует голосовой ввод. Это, в первую очередь, Алиса. Кроме того, наши разработки используются в Браузере, Переводчике, Клавиатуре - словом, много где еще!

Основные направления, в которых мы работаем:

<aside> 🗣️ ASR Базовая технология распознавания речи

</aside>

<aside> <img src="/icons/meeting_blue.svg" alt="/icons/meeting_blue.svg" width="40px" /> Голосовая персонализация Мы учим Алису узнавать пользователей по голосу, чтобы включать их любимую музыку, учитывать персональные потребности и делать качественные рекомендации.

</aside>

<aside> 🆙 Голосовая активация Мы ****решаем задачу нахождения wake-up фразы («Алиса» или «Яндекс») в потоке речи: обучаем небольшие нейронные сети из миллиона параметров и оптимизируем их для работы на колонках с Алисой или других устройствах

</aside>

<aside> ⚙ Улучшение речи Для того чтобы устройство могло ответить пользователю в любых условиях, например при фоновом шуме или при проигрывании музыки, на устройстве работает ряд алгоритмов машинного обучения, которые мы непрерывно улучшаем.

</aside>

С чем мы работаем?

<aside> 🗣️ NLP/ASR tools/libs:

Hugging Face Transformers, sentencepiece, fairseq, huggin face transformers, fairscale, kaldi, k2, icefall

Audio processing tools: sox, ffmpeg, librosa, scipy

</aside>

<aside> 🛠️ Железо

(train) ~500 GPU (h100/a100) (preprocessing/storage) , ~7k CPU, ~15 TB RAM, ~10 PB HDD (embedded inference) MCU, DSP, NPU, CPU

</aside>

<aside> <img src="/icons/database_gray.svg" alt="/icons/database_gray.svg" width="40px" /> Более тысячи железных серверов, на которых работают наши сервисы

<aside> 💻 Языки: Python, C++, SQL, bash

</aside>

</aside>

<aside> <img src="/icons/wifi_gray.svg" alt="/icons/wifi_gray.svg" width="40px" /> Тысячи точек доступа в офисах, на складах и даже в ЦОДах

</aside>

<aside> <img src="/icons/airplane_gray.svg" alt="/icons/airplane_gray.svg" width="40px" /> Надежность работы сети 24х7х365 на 99.99%

</aside>

Бригада русскоязычного ASR

Наша бригада развивает базовые технологии распознавания речи во всех приложениях и девайсах с Алисой: колонки, ТВ, навигатор, поисковое приложение.В зону нашей ответственности входит:

• обучение моделей распознавания речи (speech to text, ASR)
• определения конца запроса (end of utterance detection, EOU)
• детекции речи “не в девайс” (side speech detection, trash talk classification)
• детекции шепота (whisper detection), пунктуации и капитализации текста

Основные направления работы: