Aisar-medium — Чӑваш ASR

По сравнению со small символьная ошибка падает почти в полтора раза (CER 3.83 % против 5.35 %): модель заметно аккуратнее обращается с диакритикой чувашского письма — ӑ, ӗ, ҫ, ӳ — и реже спотыкается на длинных словах.

Итог на тестовой выборке — 17.28 % WER (12.36 % после нормализации) при чек-поинте около полутора гигабайт. Классическая «золотая середина» по требованиям к железу.

Как обучалась

База — openai/whisper-medium, 769M параметров. Языковой токен при генерации — russian: чувашского языка в словаре Whisper нет. Вход — аудио 16 кГц, моно. Качество измерено на тестовой выборке Common Voice: 1 288 высказываний, beam-5.

Почему 17.28 %, а не 12.36 %? Это одна модель, один тест и одно декодирование (beam-5). 17.28 % — орфографический WER: текст сравнивается как есть, с регистром и пунктуацией. 12.36 % — тот же прогон после whisper-нормализации (нижний регистр, ё→е, без пунктуации). Вся разница — в нормализации текста, а не в данных.

Быстрый старт

Модель запускается парой строк через 🤗 transformers. Нарезка по 30 секунд позволяет распознавать записи любой длины, beam-5 — настройка, которой получены цифры выше. Для длинных спонтанных записей раскомментируйте temperature-fallback: он защищает от зацикливаний на сложных участках.

Python · transformers

import torch
from transformers import pipeline

asr = pipeline(
    "automatic-speech-recognition",
    model="SpeechCollector/whisper-chuvash-medium",
    torch_dtype=torch.float16,   # use torch.float32 on CPU
    device="cuda:0",             # or "cpu"
    chunk_length_s=30,           # handles audio longer than 30 s
    stride_length_s=(5, 5),
)

out = asr(
    "speech.wav",  # any sample rate — the pipeline resamples to 16 kHz
    generate_kwargs={
        "language": "russian",   # no Chuvash token in Whisper vocab
        "task": "transcribe",
        "num_beams": 5,          # quality mode; num_beams=1 is ~1.7x faster
        # For long spontaneous audio, add temperature fallback —
        # it tames repetition loops on hard segments:
        # "temperature": (0.0, 0.2, 0.4, 0.6, 0.8, 1.0),
        # "compression_ratio_threshold": 2.4,
        # "logprob_threshold": -1.0,
        # "no_speech_threshold": 0.6,
    },
)
print(out["text"])

Примеры распознавания

Послушайте записи из тестовой выборки и сравните расшифровки всех трёх моделей — на странице «Примеры».

HuggingFace · whisper-chuvash-medium

Репозиторий пока приватный — откроется вместе с публикацией весов, следите за плашкой наверху.

Лицензия CC BY-NC 4.0: свободно для исследований и некоммерческого использования. Коммерческое использование — по отдельной договорённости с сообществом SpeechCollector, пишите в Telegram. Просим не использовать модель для слежки и скрытого наблюдения за людьми.