Wer bietet die beste maschinelle Übersetzung für Chinesisch-Englisch? Ein Vergleich von Google, Microsoft Bing, Baidu, Tencent, Sogou und NetEase Youdao

Bei der Arbeit teile ich häufig chinesischsprachige Artikel mit englischsprachigen Kollegen und englische Artikel mit chinesischsprachigen Kollegen. Letztes Jahr habe ich widerwillig mit der maschinellen Übersetzung begonnen, nachdem die Menge des zu übersetzenden Materials überwältigend wurde. Ich war von der Qualität der maschinellen Übersetzung angenehm überrascht und möchte daher herausfinden, welches Unternehmen das beste Produkt anbietet.

Für unseren (sehr unwissenschaftlichen) Blindtest werden wir Auszüge aus der Rede von Präsident Xi Jinping auf dem Bo’ao Forum 2018 verwenden. Ich habe diese Rede gewählt, weil die maschinelle Übersetzung, wenn sie Fortschritte machen soll, mit den formellsten (und, ich wage zu sagen, formelhaftesten) offiziellen Reden beginnen sollte. Außerdem hat die chinesische Regierung eine offizielle Übersetzung von Xis Rede zur Verfügung gestellt, so dass wir einen Maßstab haben, mit dem wir die Maschinen vergleichen können.

Bevor ich die Testergebnisse verrate, sollte ich anmerken, dass ich ursprünglich geplant hatte, eine Xi-Rede von 2017 zu verwenden. Aber nachdem ich sie in Google Translate eingegeben hatte, erhielt ich Ergebnisse, die mit der offiziellen Übersetzung der chinesischen Regierung identisch sind. Folglich muss Google die offizielle Übersetzung als Trainingsmaterial verwendet haben. Um die Fairness unseres Tests sicherzustellen, habe ich die Bo’ao-Rede auf den verschiedenen Übersetzungsseiten laufen lassen, bevor die offizielle Übersetzung Ende April herauskam.

Die Ergebnisse sind wie folgt:

• Erste Stufe: Google, Microsoft Neural1, Sogou, Tencent (in keiner bestimmten Reihenfolge)
• Zweite Reihe: NetEase Youdao, Baidu (in keiner bestimmten Reihenfolge)
• Dritte Ebene: Microsoft Bing

Teil 1 der Testergebnisse ist unten dargestellt. Fehler sind rot und ungünstige Formulierungen grün markiert.

Die maschinelle Übersetzung hat einen langen Weg hinter sich. Noch vor wenigen Jahren kämpfte Google Translate damit, zusammenhängende Sätze zu bilden. Jetzt erfasst es die meisten, wenn nicht sogar alle Hauptgedanken. Wie oben gezeigt, hätte ein Englischsprachiger keine Probleme, Xis Rede in Echtzeit zu folgen, wenn er sich nur auf Google, Microsoft Neural, Sogou oder Tencent verlassen würde.

Ein anderes Übersetzungsprodukt DeepL, das meiner Meinung nach Google bei Spanisch-Englisch-Übersetzungen übertroffen hat, hat seinen Chinesisch-Englisch-Dienst noch nicht zur Verfügung gestellt. Es ist also möglich, dass DeepL bei Xis Rede einen noch besseren Job macht.

Teil 2 der Testergebnisse:

Während des Bo’ao-Forums startete Tencent eine massive PR-Kampagne, um seine „KI-Lösung zum Konferenzdolmetschen“ zu bewerben. Wie unten zu sehen, entpuppte sich die Maschine eher als Publicity-Gag. In Anbetracht von Tencents anständigem Übersetzungsprodukt vermute ich, dass die Umwandlung von chinesischer Sprache in Text schief gelaufen ist. Wäre das Audio originalgetreu transkribiert worden, hätte die „KI-Lösung“ vielleicht eine zufriedenstellende englische Übersetzung geliefert.

Vorerst kann man Maschinen nur bei chinesisch-englischen Übersetzungen von technischen Handbüchern, offiziellen Reden und Ankündigungen sowie seriösen Nachrichtenartikeln trauen. Belletristik oder umgangssprachliche Konversationen wären eine Herausforderung. Beim Simultandolmetschen kommt noch das Problem der Audiotranskription hinzu – der Lärm im Raum und der Dialekt des Sprechers machen selbst den erfahrensten menschlichen Dolmetschern das Leben schwer.

Nachfolgend finden Sie vier Arten von Fehlern, die Maschinen häufig machen, wenn sie Auszüge der Xi-Rede übersetzen:

Wenn das Chinesische ein extrem langer Satz ist

• „坚决破除制约使市场在资源配置中起决定性作用、更好发挥政府作用的体制机制弊端“ – wenn wir diesen Satz aufschlüsseln, ist das Hauptverb-Objekt „破除弊端“, aber einige Maschinen denken, es sei „破除制约，使市场发挥作用…。机制弊端“; andere denken, es sei „破除那些让市场…的制约.“ Dieser Satz ist eine Herausforderung für Mensch und Maschine

• „欢迎各国朋友来华参加“ (vor einer Diskussion über Expos) = „Freunde aus aller Welt sind willkommen, an der Expo teilzunehmen“, statt „Freunde aus allen Ländern sind willkommen, in China teilzunehmen“

Wo das Chinesische ein Wort mit mehreren Bedeutungen ist (und die weniger häufige Bedeutung verwendet wird)

• „（政策）落地“ = „sich materialisieren,“ statt „zu landen“
• „（行业）具备开放基础“ = „in der Lage sein, sich zu öffnen“, eher als „eine offene Grundlage haben“
• „（同国际经贸规则）对接“ = „integrieren“ oder „ausrichten“, eher als „andocken“ (ich glaube, die Maschinen haben „andocken“ von „molekulares Andocken“ bekommen)
• „（完善产权制度）是经济竞争力的最大激励“ = „den größten Schub für die Wettbewerbsfähigkeit der Wirtschaft liefern,“ statt „den größten Anreiz zur Verbesserung der Wettbewerbsfähigkeit der Wirtschaft geben“
• „重新组建“ = „reorganisieren,“ statt „wiederherstellen“
• „（这不是）一般性的会展，（而是我们主动开放市场的重大政策宣示和行动）“ = „eine weitere gewöhnliche Ausstellung,“ statt „eine allgemeine Ausstellung“

Ausstellung

• „空气清新才能吸引更多外资“ = „nur frische Luft zieht mehr ausländische Investitionen an,“ statt „frische Luft kann mehr ausländisches Kapital anziehen“ oder „die Luft ist frisch, um mehr ausländisches Kapital anzuziehen“ (Seltsamerweise hat keine Maschine diesen einfachen Satz richtig hinbekommen)