Aisar-turbo — Чӑваш ASR

Модель дообучена из русскоязычной адаптации Whisper large-v3-turbo — удачная стартовая точка для чувашского с его многочисленными русскими заимствованиями. Результат: 16.02 % WER и 3.63 % CER на тестовой выборке — лучшие опубликованные цифры для чувашского языка.

Работает примерно в 13 раз быстрее реального времени на одной GPU: час аудио превращается в текст за несколько минут. Именно эта модель разметила дополнительные корпуса объёмом ≈1 080 часов.

Как обучалась

База — bond005/whisper-podlodka-turbo, 809M параметров. Языковой токен при генерации — russian: чувашского языка в словаре Whisper нет. Вход — аудио 16 кГц, моно. Качество измерено на тестовой выборке Common Voice: 1 288 высказываний, beam-5.

Почему 16.02 %, а не 11.13 %? Это одна модель, один тест и одно декодирование (beam-5). 16.02 % — орфографический WER: текст сравнивается как есть, с регистром и пунктуацией. 11.13 % — тот же прогон после whisper-нормализации (нижний регистр, ё→е, без пунктуации). Вся разница — в нормализации текста, а не в данных.

Быстрый старт

Модель запускается парой строк через 🤗 transformers. Нарезка по 30 секунд позволяет распознавать записи любой длины, beam-5 — настройка, которой получены цифры выше. Для длинных спонтанных записей раскомментируйте temperature-fallback: он защищает от зацикливаний на сложных участках.

Python · transformers

import torch
from transformers import pipeline

asr = pipeline(
    "automatic-speech-recognition",
    model="SpeechCollector/whisper-chuvash-turbo",
    torch_dtype=torch.float16,   # use torch.float32 on CPU
    device="cuda:0",             # or "cpu"
    chunk_length_s=30,           # handles audio longer than 30 s
    stride_length_s=(5, 5),
)

out = asr(
    "speech.wav",  # any sample rate — the pipeline resamples to 16 kHz
    generate_kwargs={
        "language": "russian",   # no Chuvash token in Whisper vocab
        "task": "transcribe",
        "num_beams": 5,          # quality mode; num_beams=1 is ~1.7x faster
        # For long spontaneous audio, add temperature fallback —
        # it tames repetition loops on hard segments:
        # "temperature": (0.0, 0.2, 0.4, 0.6, 0.8, 1.0),
        # "compression_ratio_threshold": 2.4,
        # "logprob_threshold": -1.0,
        # "no_speech_threshold": 0.6,
    },
)
print(out["text"])

Авторазметка корпусов

Расшифровки дополнительных корпусов — это ≈1 080 часов аудио — сгенерированы именно этой моделью. В обучение моделей эти данные не попадали, поэтому оценка качества честная. Подробнее — на странице «Данные».

Примеры распознавания

Послушайте записи из тестовой выборки и сравните расшифровки всех трёх моделей — на странице «Примеры».

HuggingFace · whisper-chuvash-turbo

Репозиторий пока приватный — откроется вместе с публикацией весов, следите за плашкой наверху.

Лицензия CC BY-NC 4.0: свободно для исследований и некоммерческого использования. Коммерческое использование — по отдельной договорённости с сообществом SpeechCollector, пишите в Telegram. Просим не использовать модель для слежки и скрытого наблюдения за людьми.