zur Navigation springen

Spracherkennung : Computer lernen das Lippenlesen

vom
Aus der Redaktion der Zeitung für die Landeshauptstadt

Forscher entwickeln Technik zur Spracherkennung ohne Sound: Ideen für die Anwendung gibt es zuhauf

Was wäre, wenn die Bilder einer Überwachungskamera ausreichen würden, um die Worte eines Verdächtigen zu verstehen? Die Technik dafür erhoffen sich Forscher von Computern, die von den Lippen lesen können. Doch trotz großer Fortschritte sind die Maschinen noch nicht praxistauglich.

Die Krux: Auf den Lippen sehen viele Töne praktisch gleich aus. Computer müssen lernen, die feinen Unterschiede zu interpretieren, die Menschen verborgen bleiben. Dafür braucht es kluges Training. Das klassische Vorgehen: Der Computer identifiziert auf einem Video den Bereich der Lippen. Während der Sprecher redet, nimmt das Programm Aussehen und Abfolge der Bewegung (Viseme) sowie die geäußerten Laute (Phoneme) auf. Im dritten Schritt wird es mit einem statistischen Modell trainiert: Wie hängen Video und Audio zusammen? Diese Lernstrategien sind ein entscheidender Teil der Forschung. „Menschen können durch gutes Training gut Lippen lesen, aber sie sind nicht perfekt“, sagt Tanja Schultz, Professorin für Kognitive Systeme an der Universität Bremen.

Die Laute p, b und m etwa sind auf den Lippen fast nicht zu unterscheiden. Daher braucht das Programm mehr Informationen: Die vorhandenen Wörter einer Sprache schränken die möglichen Phonemketten schon ein. Weitere Hinweise geben erlaubte Satzkonstruktion und Sinn der Aussage. Fast unerlässlich: eine Datenbank mit Zusammenhängen von Audio und Text. Ein menschlicher Lippenleser kennt Ausdrücke und Redewendungen seiner Sprache und den Kontext einer Unterhaltung – für Computer ist das schwieriger.

Schon so sollte die Aussprache möglichst deutlich, die Sätze grammatikalisch korrekt und nicht umgangssprachlich sein. „Je spontaner Sprache gesprochen wird, umso schwieriger ist sie zu erkennen.“ Und: Manche Sprachen sind einfacher als andere. Gut ist eine große Zahl an Konsonanten – Vokale ähneln sich stark. Fatal ist es, wenn die Tonhöhe in der Sprache eine Bedeutung ausmacht.

Forscher hoffen: Ein Programm könnte bei der Aufklärung von Straftaten anhand von Überwachungsvideos helfen, eine bessere Verständigung von sprach- und hörbehinderten Menschen ermöglichen, als digitaler Assistent arbeiten – oder die Identität von Menschen feststellen.

Um Nutzernamen, Geheimwörter und PIN überflüssig zu machen, schlägt Ahmed Hassanat von der jordanischen Mutah-Universität lautlose Passwörter vor: schwer abzufangen und nützlich bei lauter Umgebung. Zur Identifikation am Bankautomaten oder im Online-Shop würde es reichen, allein die Lippen zu bewegen. Nötig wäre nur eine Kamera.

Vielversprechend sei der Einsatz lernfähiger künstlicher Intelligenz, die sich an biologische Vorbilder anlehnt, sagt Schultz. Ein Team um Michael Wand von der Fachhochschule der italienischen Schweiz erreicht mit sogenannten tiefen neuronalen Netzen eine deutlich bessere Worterkennung als mit herkömmlichen Methoden, allerdings bei begrenztem Wortschatz.

Parallel wird auch an anderen Ansätzen geforscht, die ohne Audio-Signal auskommen: Spracherkennung durch Messung der Muskelaktivität in Gesicht und Hals, Ultraschallbilder der Zunge oder Verfolgung der Hirnaktivität selbst - Schultz zufolge aber eher unpraktisch, da bisher nur am offenen Schädel möglich.

Kim A. Zickenheiner

zur Startseite

Gefällt Ihnen dieser Beitrag? Dann teilen Sie ihn bitte in den sozialen Medien - und folgen uns auch auf Twitter und Facebook:

Kommentare

Leserkommentare anzeigen