#
Проверьте свое понимание материала курса

###
1. В каких единицах измеряется частота дискретизации?

дБ Гц бит

###
2. При потоковой передаче большого набора аудиоданных как скоро можно начать его использовать?

Как только набор данных будет загружен полностью. Как только первые 16 образцов будут загружены. Как только первый образец будет загружен.

###
3. Что такое спектрограмма?

Устройство, используемое для оцифровки звука, который сначала улавливается микрофоном, преобразующим звуковые волны в электрический сигнал. График, показывающий изменение амплитуды звукового сигнала с течением времени. Он также известен как *временная область* представления звука. Визуальное представление частотного спектра сигнала при его изменении во времени.

###
4. Как проще всего преобразовать сырые аудиоданные в лог-мел спектрограмму, ожидаемую Whisper?

A.

    librosa.feature.melspectrogram(audio["array"])

B.

    feature_extractor = WhisperFeatureExtractor.from_pretrained("openai/whisper-small")
    feature_extractor(audio["array"])

C.

    dataset.feature(audio["array"], model="whisper")

A B C

###
5. Как загрузить набор данных из 🤗 Hub?

A.

    from datasets import load_dataset

    dataset = load_dataset(DATASET_NAME_ON_HUB)

B.

    import librosa

    dataset = librosa.load(PATH_TO_DATASET)

C.

    from transformers import load_dataset

    dataset = load_dataset(DATASET_NAME_ON_HUB)

A B C

###
6. Ваш пользовательский набор данных содержит высококачественные аудиозаписи с частотой дискретизации 32 кГц. Вы хотите обучить модель распознавания речи, которая ожидает, что аудиопримеры будут иметь частоту дискретизации 16 кГц. Что нужно сделать?

Используйте примеры как есть, модель легко обобщится на более качественные аудиопримеры. Используйте модуль Audio из библиотеки 🤗 Datasets для понижения частоты дискретизации примеров в пользовательском наборе данных Уменьшите выборку в 2 раза, отбросив все остальные образцы.

###
7. Как преобразовать спектрограмму, сгенерированную моделью машинного обучения, в форму волны?

Для восстановления формы волны из спектрограммы мы можем использовать нейронную сеть, называемую вокодером. Мы можем использовать обратное ОПФ для преобразования сгенерированной спектрограммы в форму волны Вы не можете преобразовать спектрограмму, сгенерированную моделью машинного обучения, в форму волны.
Update on GitHub