Аудиоанализ, распознавание и генерация речи

Курс «Аудиоанализ, распознавание и генерация речи» научит создавать нейросети для обработки аудиоданных и речи. Программа включает 9 модулей и рассчитана на специалистов с опытом программирования и анализа данных.

1. 1
   Цифровая обработка аудио и классические модели классификации

   Аудиосигнал как числовое представление, частотные признаки, подготовка аудиодатасетов, классические модели.
2. 2
   Распознавание речи: классические CTC- и трансформерные модели

   Подготовка данных для ASR, CTC-модели, Seq2seq и трансформеры в ASR, декодирование и языковые модели.
3. 3
   SSL-модели и большие речевые модели

   Self-Supervised Learning в речи, архитектура Wav2vec и HuBERT, Fine-Tuning, Speech LLM.
4. 4
   Синтез речи и управление характеристиками голоса

   Архитектура TTS-системы, предсказание спектрограммы, нейросетевые вокодеры, управление голосом и стилем.
5. 5
   Инференс и оптимизация аудиомоделей для RAG

   Экспорт модели, ускорение работы, сборка инференс-контура, тестирование и валидация.
6. 6
   Фундаментальные основы Deep Learning

   Введение в нейросети, полносвязная нейросеть (MLP), функции ошибок, градиентный спуск, обратное распространение ошибки.
7. 7
   От рекуррентных нейронных сетей (RNN) к трансформерам

   Работа с последовательными данными, простые RNN, GRU и LSTM, Attention и трансформеры.
8. 8
   Свёрточные нейронные сети (CNN): от основ до продвинутых методов

   Основы свёрточных сетей, пулинг, популярные архитектуры CNN, Transfer Learning.
9. 9
   Предобработка данных для моделей глубокого обучения (NLP, CV и Audio Analysis)

   Предобработка текстов, изображений и аудиоданных, мультимодальная нейросеть.

Яндекс Практикум · 90 000 ₽ · 5 мес · рассрочка