text: Einleitung
  Die Qualität der Sprachsynthese (TTS, Text to Speech) hat sich in den letzten Jahren durch den Einsatz tiefer neuronaler Netze (deep learning) erheblich verbessert. Der blecherne Klang früherer TTS Systeme ist einem recht natürlichen Klang gewichen, wie internationale Publikationen insbesondere für die englische Sprache zeigen Die Qualität der Sprachsynthese lässt sich bisher automatisiert nur schlecht beurteilen. Daher sind in der Literatur überwiegend subjektive Verfahren wie der Mean Opinion Score (MOS) oder (seltener) das MUSHRA Verfahren (Multiple Stimuli with Hidden Reference and Anchor) im Einsatz. Der Vorteil von MUSHRA gegenüber MOS ist, dass für jeden Satz alle zu bewertenden Systeme gleichzeitig in einem Panel dargestellt werden können . Beim MOS werden die Audiomaterialien dagegen nacheinander bewertet . Bei jedem MUSHRA Test werden die Positionen der Systeme im Panel randomisiert. Beim MOS Verfahren muss dagegen die Reihenfolge der Darbietung entsprechend randomisiert werden. Das MOS Verfahren sieht eine Skala von 1 bis 5 vor, wobei eins schlechte und fünf sehr gute Qualität repräsentiert. Bei MUSHRA geht die Skala von 1 bis 100 wobei auch hier die höhere Zahl eine bessere Qualität darstellt. In findet sich ein Vorschlag für zwei neue Qualitätskennzahlen, die automatisiert ermittelbar sind und laut Autoren gut mit den MOS Werten korrelieren. Das könnte eine deutliche Verbesserung der Situation für die Entwicklung von Sprachsynthese bedeuten, da die Forscher schnelle Rückmeldung über die Qualität des Modells erhalten könnten, ohne jedes Mal aufwändige empirische Studien durchführen zu müssen. Mangels unabhängiger Überprüfung der Werte, ist die Brauchbarkeit aber wissenschaftlich noch nicht belegt.
  Vocoder
  Der Vocoder generiert meist aus einem Mel-Spektrogramm die Audio-Datei. Da sich das Mel-Spektrogramm basierend auf gegebenen Audio-Dateien problemlos berechnen lässt, kann man Trainingsdaten vergleichsweise einfach erzeugen. Die Qualität aktueller neuronaler Vocoder ist dabei auf dem Niveau menschlicher Sprecher und wird sogar z.T. sogar als überlegen eingestuft . Daher konzentrieren sich die Forschungen in den letzten Jahren auf eine Verbesserung der Performance bei gleichbleibend hoher subjektiver Qualität der Sprachausgabe.
  WaveNet kann bzgl. der MOS Werte als Referenz gelten. In der Original-Veröffentlichung wurde zwar nur ein MOS von 4,21 berichtet, der im Vergleich zum MOS von 4,55 der Ground Truth zwar gut, aber nicht exzellent ist. In nachfolgenden Veröffentlichungen wurden jedoch Werte nahe der Ground Truth erzielt . Bei der Interpretation dieser Daten muss man berücksichtigen, dass die Modelle nicht immer mit den gleichen Daten trainiert wurden. Daher ist die Vergleichbarkeit nur bedingt gegeben.
  Parallel WaveNet setzt direkt auf WaveNet auf und gewinnt durch Knowledge Distillation (siehe Tabelle 3) aus einem fertig trainierten WaveNet ein deutlich schnelleres Netz für das Inferencing, welches die Audiodaten in 20-facher Echtzeit generiert (real-time factor RTF 0,05), also in einer Sekunde 20 s Audioausgabe, während Wavenet für 20 s Audioausgabe 1.000 Sekunden brauchte, also fast 17 Minuten (RTF 50). Der Nachteil ist, dass der Trainingsprozess sehr aufwändig ist, weil man zuerst den "Lehrer" trainieren muss und dann den Studenten daraus gewinnt, der im Fall von Parallel WaveNet mit ähnlicher Qualität arbeitet.
  WaveGlow ist ein Vertreter der neuen Flow-basierten Netzwerke, die im Gegensatz zu den auto-regressiven Netzwerken wie WaveNet gut parallelisierbar sind. Es erreicht dadurch RTF 0,04 auf einer Nvidia Tesla V100 GPU. FloWaveNet schlägt in dieselbe Kerbe und kann ähnlich wie WaveGlow in einem einzelnen Trainingsschritt trainiert werden, statt aufwändige Distillation zu erfordern. Die Autoren sprechen von einer WaveNet "vergleichbaren" Qualität, was angesichts von einer Differenz von 0,51 auf der MOS-Skala jedoch beschönigend erscheint. Von der Geschwindigkeit her liegt es auf dem Niveau der Konkurrenz mit einem RTF von 0,05.
  Parallel WaveGAN kommt ohne Distillation aus und schafft mit nur 1,44 Millionen Parametern eine hohe Qualität von 4,06 MOS und einen RTF von 0,036 auf einer einzelnen V100 GPU. Auffällig ist, dass in der Veröffentlichung der Vergleichs-MOS-Wert von ClariNet leicht über dem Wert in dessen Originalpaper liegt, während der WaveNet Wert mit 3,61 MOS weit unter dem dort berichteten Wert liegt. Mit Parallel WaveGAN kann auch die Trainingszeit deutlich gesenkt werden. berichten von 2,8 Tagen Trainingszeit mit zwei Nividia Tesla V100 GPUs, wohingegen WaveNet 7,4 Tage benötigte und ClariNet sogar 12,7 Tage.
  MelGAN ist ein Modell, das Generative Adversarial Networks für die Sprachsynthese einsetzt. Es stellt schon die zweite Generation von GANs für TTS dar und kommt komplett ohne Distillation Prozess aus. Dabei erreicht es einen MOS Wert von 3,61, was nicht an die Vergleichswerte von 4,05 für WaveNet und 4,11 für WaveGlow heranreicht. Die Weiterentwicklung Multiband MelGAN verbesserte diese Werte jedoch schon bald und erreichte mit 4,34 MOS State-of-the-Art Niveau. Mit Tacotron 2 als Mel-Generator erreicht es immer noch sehr gute 4,22 MOS. Gleichzeitig konnte die Anzahl der Parameter auf 1,91 Mio reduziert werden, was einer Reduktion der nötigen Rechenleistung auf ein Sechstel entspricht. Die Ergebnisse müssen jedoch relativiert werden, da sie mit Chinesischer Sprache erzielt wurden, statt in Englisch. arbeitet nicht mit Mel-Spektrogrammen als Ausgangsbasis, sondern mit linguistischen Features und fällt deswegen etwas aus der Reihe. Es erreicht gute MOS Werte durch den Einsatz mehrerer Diskriminatoren als Feedback für den Generator-Teil des GAN, die mit verschiedenen Fenstergrößen arbeiten.
  GAN TTS
  ClariNet ähnelt Parallel WaveNet im Knowledge Distillation Ansatz, schafft es aber durch eine Kombination der DeepVoice 3 Architektur für die Generierung von Spektrogrammen mit der distillierten WaveNet Architektur ein Ende-zu-Ende Netzwerk für die Generierung von Sprachdaten direkt aus Texten zu erzeugen, das trainierbar ist und als Text-to-Wave Architektur bezeichnet wird. Die Autoren räumen aber ein, mit der Kombination nicht ganz die Qualität der einzelnen Bestandteile zu erreichen, weil es im Trainingsprozess zu Beginn schlechte Spektrogramme gibt, die sich auf die Qualität der zweiten Netzhälfte auswirken. HiFi GAN arbeitet wie der Name schon sagt mit Generative Adversarial Networks und kann unterschiedlich parametrisiert werden, um entweder beste Qualität oder auch beste Performance zu erreichen. In der schnellsten getesteten Konfiguration ergibt sich ein Realtime Faktor von 0,08 auf der CPU und 0,001 auf der GPU bei einer gleichzeitigen Reduktion der Qualität um 0,31 MOS. Im Vergleich dazu schafft WaveGlow nur 4,8 auf der CPU und 0,04 auf der GPU (Nvidia V100). In der höchsten Qualitätsstufe sinkt die Performance von HiFi GAN auf immer noch gute 0,7 RTF (CPU) bzw. 0,006 (GPU). In der besten Qualität liegt es nur um 0,09 MOS hinter der Ground Truth (siehe Tabelle 1)
  Noch besser schneidet WaveGrad ab . Es hat sowohl absolut als auch relativ zur Ground 
  Mel-Spektrogramm Generierung
  Die früher üblichen Modelle zur Mel-Spektrogramm-Generierung basierend auf Hidden Markov Modellen (HMM) wurden in den letzten Jahren zunehmend von Deep Learning-basierten Ansätzen verdrängt. Insbesondere Tacotron und sein Nachfolger Tacotron 2 TalkNet geht das Problem mit ausgelassenen Wörtern und Kontrolle der Geschwindigkeit der generierten Sprache an . Es arbeitet mit CNNs, was Sprachsynthese eher ungewöhnlich ist und erzielt damit gute Ergebnisse, die jedoch nicht ganz an Tacotron 2 heranreichen. Dafür liegt es in der Generierungsgeschwindigkeit selbst gegenüber Fastspeech noch einmal deutlich zu und kann in 16h auf einer V100 GPU trainiert werden. Für die proklamierten Verbesserungen bzgl. ausgelassener Wörter und Sprechgeschwindigkeit werden leider keine Belege genannt. Einen interessanten Zwitter stellt SpeedySpeech dar . Es benutzt auch einen Teacher-Student Ansatz, soll jedoch schneller zu trainieren sein, weil der Teacher, welcher von DeepVoice 
  Literatur
  