FLEURS
Ein mehrsprachiger Sprach-Benchmark, mit dem getestet wird, wie genau ein Modell Audio in vielen verschiedenen Sprachen transkribiert.
FLEURS ist ein Standardtestsatz für die Spracherkennung, der aus denselben Sätzen besteht, die in einer langen Liste von Sprachen aufgezeichnet wurden. Da der Inhalt konstant gehalten wird und sich nur die Sprache ändert, zeigt sich, ob ein Transkriptionsmodell wirklich mehrsprachig ist oder nur sehr gut Englisch beherrscht.
Es ist wichtig, wenn Sie Genauigkeitsansprüche lesen. Ein Sprachmodell könnte eine Wortfehlerrate von zwei oder drei Prozent melden, was ausgezeichnet klingt, und dann bei FLEURS deutlich schlechter abschneiden, sobald andere Sprachen einbezogen werden. Wenn Sie nicht auf Englisch arbeiten, sollten Sie sich die FLEURS-Nummer ansehen.