So verwenden Sie Live Captions, um Untertitel für absolut alles in iOS 16 zu erhalten

Live-Untertitel in iOS 16 generieren Untertitel für jedes Audio, das in einer beliebigen App auf Ihrem iPhone abgespielt wird. Angetrieben von der Neural Engine in Apples benutzerdefiniertem Chip ist die Fähigkeit, Wörter aus Musik und/oder Videos in Echtzeittext umzuwandeln, für viele Benutzer in vielen verschiedenen Situationen ein Segen.

Wenn Sie beispielsweise schwerhörig sind, ist die Möglichkeit, sofort Untertitel auf dem Bildschirm zu sehen, ein Spielveränderer. Oder wenn Sie spät abends ohne Kopfhörer im Bett sitzen und Ihr Partner schläft – oder Sie sich in einer Situation befinden, in der Sie keinen Lärm machen möchten, wie im Bus oder im Büro – Sie können Live-Untertitel einschalten, um Untertitel zu erhalten.

Die Anwendungen sind endlos und spannend. So verwenden Sie Live-Untertitel in iOS 16.

So verwenden Sie Live-Untertitel in iOS 16

Live Captions sorgten im Mai für Aufsehen, als Apple die Funktion neben anderen neuen Barrierefreiheitsfunktionen für iOS ankündigte. Diese Funktionen standen im Rampenlicht, um den Global Accessibility Awareness Day vor der WWDC22 zu markieren, auf der Apple seine Pläne für iOS 16 und seine anderen Betriebssysteme vorstellte.

Um diese Funktionen nutzen zu können, müssen Sie iOS 16 installieren. iOS 16 ist mit allen iPhones kompatibel, die 2017 und später veröffentlicht wurden: die Modelle iPhone 8, X, XS, 11, 12, 13 und 14 sowie das iPhone SE (sowohl der zweiten als auch der dritten Generation). ).

Aktivieren Sie Live-Untertitel

Aktivieren Sie Live-Untertitel in den Eingabehilfen-Einstellungen.
Screenshot: D. Griffin Jones/Cult of Mac

Sobald Sie auf iOS 16 eingestellt sind (und nachdem Sie mit der Erstellung eines benutzerdefinierten Sperrbildschirms herumgespielt haben), gehen Sie zu Einstellungen > Barrierefreiheit > Live-Untertitel (Beta) am Ende der Liste.

Ermöglichen Live-Untertitel um die Funktion einzuschalten. Ein schwebendes Widget wird angezeigt und wartet darauf, dass etwas beschriftet wird. An anderer Stelle in den Einstellungen können Sie dieses Widget so konfigurieren, dass es im Control Center erscheint und verschwindet, oder indem Sie dreimal auf die Seitentaste klicken, aber lassen Sie uns zuerst einen Blick darauf werfen, wie es funktioniert (klicken Sie hier, um weiter zu springen).

Außerdem aktivieren Live-Untertitel in FaceTime während Sie hier sind, um beim nächsten FaceTime-Anruf Untertitel zu erhalten.

Wie gut funktionieren Live-Untertitel?

Faire Warnung: Trotz all meiner Bemühungen kann ich das Live-Untertitel-Widget nicht dazu bringen, in meinen Screenshots zu erscheinen. Ich habe sogar versucht, mein Telefon an meinen Computer anzuschließen und den Bildschirm in QuickTime ohne Erfolg aufzuzeichnen.

Was folgt, sind Bilder meines Telefons, die ich mit einem (alten) iPad gemacht habe. Es tut mir Leid.

Live-Untertitel in YouTube-Videos

Live-Untertitel übertragen meine Stimme nicht sehr gut.
Live-Untertitel übertragen meine Stimme nicht sehr gut.
Foto: D. Griffin Jones/Cult of Mac

Ich habe Live-Untertitel getestet, damit Sie direkt sehen können, wie genau die Untertitel sind. Sehen Sie, ich habe in den letzten zwei Jahren ein Videoexperiment auf YouTube durchgeführt, bei dem ich Wikipedia-Artikel in ihrer Gesamtheit erzähle. Das ist praktisch, denn Sie können vergleichen, wie gut Live Captions meine Erzählung mit dem Originaltext auf dem Bildschirm transkribiert.

Wie Sie sehen können, sind die Ergebnisse … nicht großartig. Das ist ein wenig überraschend. Sprachdiktat funktioniert für mich in iMessage hervorragend; Normalerweise versteht Siri meine Stimme ziemlich gut. Meine Stimme klingt meines Wissens in den Videos genauso wie bei der typischen iPhone-Nutzung. Und doch transkribiert Live Captions meine YouTube-Videos ziemlich schlecht.

Podcasts

Live-Untertitel funktionieren hier besser, aber es ist schwierig, in einem Gespräch zwischen zwei Personen mitzuhalten.
Live-Untertitel funktionieren hier auf The CultCast besser, aber es ist schwierig, in einem Gespräch zwischen zwei Personen mitzuhalten.
Foto: D. Griffin Jones/Cult of Mac

Ich lese gerne Nachrichten über NetNewsWire und höre mir Kommentare in Podcasts an. Könnte ich dies noch weiter konsolidieren, indem ich Live Captions verwende, um Podcasts in geschriebene Worte zu verwandeln? So’ne Art.

Auch dort, wo es am besten funktioniert, müssen wir eine Frage der Implementierung ansprechen: Sie können nicht eine ganze Podcast-Episode durch Live Captions laufen lassen und durch den resultierenden Text scrollen, der sich wie ein Artikel liest. Live Captions verarbeitet das Audio, während es es hört.

Das bedeutet, dass Sie jeweils ein paar Zeilen lesen können, in der gleichen Geschwindigkeit, in der der Dialog gesprochen wird. Wenn Live Captions das Ende eines Satzes hört, funktioniert es möglicherweise rückwärts und korrigiert den Anfang dieses Satzes, fügt Satzzeichen hinzu oder ersetzt ähnlich klingende Wörter, ähnlich wie beim Diktieren auf Ihrem iPhone. Tatsächlich ergeben drei Textzeilen wirklich nur eine, die Sie lesen können.

Wenn Sie auf die Vollbildpfeile tippen, können Sie mehr auf einmal lesen, aber das verdeckt die App-Steuerelemente zum Anhalten und Überspringen von Kapiteln.

Es ist auch klar, dass dies nicht gut zu den beiden Typen passt, die über das Genre der Podcasts sprechen. Allein durch das Lesen des Textes kann man nicht erkennen, wer was sagt.

Live-Untertitel für Musiktexte

Ich habe einen sehr unterschiedlichen Musikgeschmack.
Ich habe sehr unterschiedliche Musikgeschmäcker.
Foto: D. Griffin Jones/Cult of Mac

Ich bin absolut schrecklich darin, Songtexte zu verstehen. Es gibt Alben, die ich buchstäblich hunderte Male gehört habe, deren Texte ich mir immer noch nicht merken, geschweige denn verstehen kann. Apple Music bietet Live-Texte für viele populäre Musik, aber verwirrenderweise nicht für die gesamte Diskographie von Driftless Pony Club, der größten Indie-Rock-Band der Welt.

Können Sie also Live-Untertitel verwenden, um Texte für Sie zu analysieren? Eine weitere gemischte Tüte. Wenn es die Texte aufnehmen kann, sind sie im Allgemeinen ziemlich genau. Sie kommen und gehen jedoch unvorhersehbar.

Bei einem Akustik-Song, von dem ich dachte, dass er ein einfacher Homerun wäre, entschied sich Live Captions, die einzelne Gitarre, die leicht im Hintergrund klimperte, als „de de de de de de de“ anstelle des gesprochenen Textes zu transkribieren. Als ich nach dem Update auf Developer Beta 3 den obigen Screenshot gemacht habe, hat Live Captions stattdessen einen Teil des Liedtextes aufgenommen (links abgebildet).

Ich habe auch zwei notorisch herausfordernde Songs ausprobiert, um die Live-Untertitel-Funktion auszuschalten. Das Spoken-Word-Intro zu „Ya Got Trouble“ aus Der Musikmann überraschend gut untertitelt – das heißt, bis die volle Musik einsetzte (rechts abgebildet). „The Elements“ war eine weitere angenehme Überraschung, denn Live Captions identifizierte etwa die Hälfte der Elemente, die in der Schnellfeueraufnahme abgespielt wurden, korrekt.

Schalten Sie das Live-Untertitel-Widget schnell ein und aus

Aktivieren Sie die Verknüpfung, um Live-Untertitel schnell ein- und auszuschalten.
Aktivieren Sie die Verknüpfung, um Live-Untertitel schnell ein- und auszuschalten.
Screenshot: D. Griffin Jones/Cult of Mac

Wenn Sie weiterhin Live-Untertitel verwenden möchten, möchten Sie nicht jedes Mal in die Einstellungen eintauchen, um das schwebende Steuermenü zu aktivieren und zu deaktivieren.

Um es in der Hand zu halten, gehen Sie zu Einstellungen > Barrierefreiheit > Barrierefreiheitsverknüpfung (ganz unten) und aktivieren Live-Untertitel. Jetzt können Sie Live-Untertitel aktivieren oder deaktivieren, indem Sie dreimal auf die Seitentaste des iPhones klicken.

Wussten Sie, dass Sie das Control Center anpassen können?  Sie können, und es ist großartig.
Wussten Sie, dass Sie das Control Center anpassen können? Sie können, und es ist großartig.
Screenshot: D. Griffin Jones/Cult of Mac

Sie können dem Control Center auch eine Schaltfläche hinzufügen. Gehen Sie darauf zurück Einstellungen > Kontrollzentrum und tippen Sie auf das Grün + neben Zugriffsverknüpfungen. Wischen Sie nach der Aktivierung von oben rechts auf dem Display (oder, wenn Sie ein iPhone 8 oder iPhone SE haben, vom unteren Rand) nach unten, um das Kontrollzentrum aufzurufen. Tippen Sie auf die Barrierefreiheitssymbol und auswählen Live-Untertitel um es einzuschalten.

Wie könnten Live-Untertitel verbessert werden?

Apple macht mit seiner Neural Engine weiterhin große Fortschritte. Maschinelles Lernen ist eindeutig ein Bereich, in dem sich das Unternehmen auszeichnet, und das Tempo der Verbesserung wird immer schneller.

Die Untertitel selbst sollten mit der Zeit genauer werden. Die aktuelle Diktierfunktion von Apple und die Sprachverarbeitung für Siri funktionieren am besten, wenn Sie deutlich sprechen und Ihr Telefon direkt an Ihr Gesicht halten. Es wird einige Zeit dauern, bis Live Captions das Übersetzen von Stimmen in den vielfältigen Umgebungen, in denen Menschen YouTube-Videos und FaceTime mit ihrer Familie filmen, trainiert.

Ich würde gerne eine Entwickler-API für diese Funktion sehen. Das Problem ist, dass Live Captions jedes Audio transkribiert, wenn es aus den Lautsprechern wiedergegeben wird. Die Funktion hat kein Konzept von was ist spielen, wie lange der Ton ist oder was vor uns liegt. Es kann Audio nicht im Voraus verarbeiten und es kann nicht innerhalb der Benutzeroberfläche einer App verbunden werden.

Stellen Sie sich vor, Sie könnten in der Podcasts-App einen Knopf drücken, der eine ganze Episode auf einmal verarbeitet. Der Text würde beim Zuhören mitlaufen, aber Sie könnten auch vor- oder zurücklesen.

Vielleicht in iOS 17. 🤞

Dieser Artikel wurde erstmals am 19. Juli veröffentlicht. Er wurde nach der Veröffentlichung von iOS 16 erneut veröffentlicht.

Author: admin

Leave a Reply

Your email address will not be published. Required fields are marked *