Apple Scribble Review: AI versus Schnürlischrift

Mit iPadOS 14 bringt Apple ein Feature namens Scribble auf den Markt. Scribble ist nichts anderes als der neueste Versuch eines Technologiegiganten, die menschliche Handschrift als Text zu erkennen und zu interpretieren. Nach dem Upgrade auf einem zweijährigen iPad Pro ist es an der Zeit, das System zu analysieren und danach den Versuch mit Schnürlischrift zu wagen. Denn bis dato war es die verbundene Schrift, die jedem Computer das Leben schwer gemacht hat.

Und weil es gerade so lustig ist: Der Test, wie viel Scribble aushält. Da meine Handschrift generell als unleserlich bezeichnet wird – manchmal kann ich meine eigenen Notizen nicht mehr lesen, weiss aber noch, was ich geschrieben habe –, will ich wissen, wie schrecklich ich drauflosschribseln kann, bevor Scribble die Waffen streckt.

Wenn dich die Erklärung der Komplexität und Problematik der Handschrifterkennung nicht interessiert, dann kannst du gerne bis zum Zwischentitel «Scribble: Versteckt, aber aktiv» springen.

Handschrift: Komplexer als gedacht

Bevor wir gross mit dem Test kommen, ein paar Worte zur Handschrift und deren Eigenheiten, Problemen und Auszeichnungen. Wenn du eine Handschrifterkennung programmieren willst, dann siehst du dich einer schier unendlichen Komplexität gegenüber. Denn wenn du eine Handschrift liest, dann abstrahiert dein Gehirn extrem viel.

Ich habe mal drei Kollegen gefragt, ob sie das Wort «Digitec» auf einen Zettel schreiben können.

Wenn also eine Maschine das verstehen soll, dann sieht sie sich Bildern gegenüber, nicht Schriften. Denn wenn du tippst, egal welche Schriftart du wählst, ist ein «D» immer ein «D». Auch wenn es in Wingdings geschrieben ist, die Maschine hat einen Wert hinterlegt, der ihr die Interpretation des Buchstabens als «D» zweifelsfrei ermöglicht.

Wenn du aber von Hand schreibst, dann hat die Maschine ein Bild vor sich, das sie analysieren muss. Nur schon beim ersten Buchstaben oben, dem grossen «D», fängt das an. In Schnürlischrift hat das «D» eine Schlaufe, die auch als «d» interpretiert werden könnte. Dann müsste der Bogen des «D» etwas anderes sein. Wenn du ein «e» kritzelst, dann sieht das vielleicht aus wie ein «c», je nach Gedrungenheit deiner Handschrift. Ein «g» kann oben geöffnet sein oder geschlossen, was dann wieder Ähnlichkeit mit einem «y» macht. Dann kommt hinzu, dass keine zwei Buchstaben gleich aussehen, selbst nicht, wenn sie von derselben Person geschrieben werden. In den Bildern oben sind sechs verschiedene «i», von drei Personen geschrieben.

Trotzdem ist die Handschrifterkennung auf einem Tablet eine reizende Sache. Denn wenn du einfach draufloskritzeln kannst – im Englischen «to scribble», übrigens – und die Maschine das versteht, dann hast du endlich das, was sich viele wünschen: Einen digitalen Notizblock, der seinen Namen verdient hat. Die künstliche Intelligenz (AI) erkennt deine Schribseleien und hinterlegt dem Bild deiner Handschrift Buchstabe für Buchstabe denselben Wert, den er hätte, wenn er mit der Tastatur getippt wäre. Voll interpretierbarer Text, von Hand geschrieben.

Die Idee der Handschrifterkennung ist darum nicht neu. In den 1990er-Jahren hat das Unternehmen Palm auf dem Personal Digital Assistant Palm Pilot – am besten als «digitaler Notizblock» beschrieben – eine Art der Handschrifterkennung gehabt. Da die Software nicht schnell oder schlau genug war, die Facetten der Handschrift zu erkennen, haben die Entwickler damals eine Stenographie-Schrift namens «Graffiti» entwickelt. Wenn du die Symbole auf den Screen gezeichnet hast, dann hat der Palm diese meistens richtig interpretiert

Hat sich dann aber nicht durchgesetzt und es wurde etwas ruhiger um die Handschrifterkennung seitens der Software. Apple und die Android-Welt haben auf ihren Tablets Tastaturen geliefert und nicht einmal über Handschrifterkennung gesprochen. Hardware-Tastaturen sind gebaut worden, sowohl gebunden wie auch kabellos.

Die Idee der Handschrifterkennung aber blieb in den Köpfen der Entwickler und Apple behauptet nun, das Problem etwa 25 Jahre nach der Idee geknackt zu haben.

Scribble: Versteckt, aber aktiv

Bei der Demo während der Keynote zu Apples World Wide Developer Conference (WWDC) ist das Feature nur in Aktion gezeigt worden, nicht aber wie es implementiert wurde. Good News: Scribble ist standardmässig aktiviert. Die Einstellungen findest du in deinem iPad OS unter Settings → Apple Pencil.

Apple-typisch bekommst du keine grossen Einstellungsmöglichkeiten, abgesehen von Ein/Aus. Aber was soll da gross eingestellt werden können? Du willst schreiben, das iPad soll erkennen, die AI soll werkeln. Da brauchst du keine Regler von wegen «Erkennungsgrad: Hoch» oder sowas.

Scribble ist tief im System integriert. Jedes Textfeld kannst du mit dem Apple Pencil bearbeiten und einfach reinschreiben. Damit sind auch Textfelder in den Apps anderer Developer gemeint. Du kannst also mit deiner Handschrift googeln. Ich kann in Snowhaze Browser eine Adresse eingeben. Oder auf digitec.ch nach iPads suchen, was komplett sinnlos ist, denn ich hab ja schon eins. Wenn du leicht über die Ränder des Textfeld schreibst, dann spielt das auch keine Rolle. Das iPad versteht, welches Textfeld du gerade benutzen willst und wo du schreibst.

Noch ist das etwas ungewohnt. Vor allem im Kopf denke ich immer Dinge wie «erkennt das iPad das?» Meistens ja, manchmal nicht.

Ohne AI geht gar nichts

Stellt sich raus, dass das iPad massiv Probleme mit dem Wort «Digitec», oder CDCI-konform «digitec», hat. Das «g» wird oft als «j» oder «y» interpretiert. Das «c» am Schluss ist manchmal ein «r». Aber wenn ich nach dem Songtitel «Everything is awesome» suche, dann zeigt sich, wie das System funktioniert. Oder funktionieren könnte. Apple gibt sich bedeckt darüber, wie genau Scribble was macht. Fakt ist, die AI spielt eine grosse Rolle.

Ich beginne also in der Google App zu schreiben. Nach «Everything» wird mein gekritzel in Bildschirmschrift umgewandelt. Das Wort «Everything» steht also im Google Suchfeld. Nach «is» passiert dasselbe. Ich muss also nicht einmal mehr zwingend «Awesome» schreiben, denn Google schlägt mir das vor. Das bedeutet, dass die AI Googles und auch die des iPads wissen, was ich will. Oder was die meisten User wollen, wenn sie mit «everything is» anfangen. Ich kann also «awesome» so hässlich schreiben, dass knapp mal ein «a» erkennbar ist und iPadOS denkt sich «Yup, der Fall ist klar» und spuckt mir den Song aus «The Lego Movie» aus.

Darum dürfte das System auch Probleme mit «Digitec» oder «digitec» haben. Obwohl das Unternehmen ein Gigant auf dem Schweizer Markt ist, ist digitec im Kontext des globalen Internets komplett unbedeutend.

Bedient sich Apple also den Suchdaten Googles? Möglich. Ich vermute vielmehr, dass die Suchdaten Googles ein Faktor sind, der zur Interpretation beigezogen werden. Denn da könnte eine Vielzahl Daten dahinterstecken. Theoretisch könnte, wenn du Scribble die Erlaubnis erteilen könntest, die Software deine Mails scannen und so herausfinden, welche Begriffe du gerne verwendest und diese in die Korrelation des Geschribsels mit geschriebenen Buchstaben einbeziehen.

Scribble ist schnell. Die AI erkennt einige Wörter so schnell, dass es schier unmöglich ist, Screenshots der Handschrift in Suchfeldern zu machen. Beeindruckend.

Copypaste umständlich aber funktional

Scribble funktioniert auch in Notes, der Notizblock-App Apples. Schreibst du etwas, kannst du es markieren und kopieren. Achtung: wenn du nur «Copy» wählst, dann kopiert dir iPadOS die Grafik der Schrift. Du musst «Copy as Text» wählen, damit du den Text als Text kopierst. Das ist etwas umständlich, aber verständlich. Denn was, wenn du mal die Grafik kopieren willst?

Auch mühsam ist, dass dir iPadOS nicht anzeigt, was genau du kopierst, wenn du «Copy as Text» auswählst. Kopiere ich jetzt «Digitec» oder «Dijiter»? Finde ich erst beim Einfügen raus. Beim Copypaste kaufst du also die Katze im Sack und findest erst raus, was du gerade als Text hast, wenn du den Text einfügst. Hätte im Popup-Menü eine Einblendung des Texts, den die Software liest, so viele Umstände gemacht?

Der Stresstest: Wann scheitert Scribble?

In den USA und Kanada ist die Schnürlischrift – in korrektem Hochdeutsch «Schreibschrift» – nicht wirklich geläufig. Sie kann zwar an Schulen gelehrt werden, aber das ist kein Zwang. In der Schweiz gibt es die Basisschrift, die gelehrt wird. Diese kann bei Bedarf so verwendet werden, dass Buchstaben sich verbinden, sollte der Schreibfluss dadurch erleichtert werden. Die klassische Schnürlischrift, so wie wir sie damals noch gelernt haben, hat ausgedient, genau wie Graffiti. Oder Stenographie als Ganzes.

Das Problem: Nur weil da irgendeine Software daherkommt, die kein Konzept von Schnürlischrift hat, will ich nicht neu schreiben lernen. Denn wenn der Hersteller behauptet, dass meine Handschrift erkannt wird, dann will ich auch meine Handschrift benutzen können. Und diese ist nun mal Schnürlischrift, durch Jahre des Schribselns mit Kugelschreibern auf Papier nahe bis zur Unendlichkeit verhunzt.

Ich vermute also, dass da irgendwo der Punkt liegt, an dem die Software die Waffen streckt. Der Test soll mit dem Wort «Apple» passieren. Ich schreibe in Notes vor, kopiere und suche in Google nach was auch immer die Software erkennt.

«Apple» als Blockschrift funktioniert wie erwartet perfekt.

Ich schreibe also Apple in schöner Schnürlischrift. Schön für meine Verhältnisse. So schreibe ich, wenn ich etwas schreiben will, das andere Menschen lesen können sollten. Ist zwar nicht immer ganz der Fall, aber Scribble kommt gut klar.

So schreibe ich, wenn ich Notizen mache. Ich bin im Territorium von «Ich kann das auch nicht mehr lesen, weiss aber, was ich schreiben wollte». iPadOS bietet mir «Copy as Text» an, also kann es irgendwas lesen. Es erkennt die Schrift als Schrift. Noch besser. iPadOS erkennt das Geschribsel als «Apple».

Fügen wir also Komplexität hinzu. Diesmal aber nur in hässlicher Schnürlischrift. Ich bemerke, dass das Schreiben auf dem Glas des iPads extrem mühsam und rutschig ist. Wenn du also viel von Hand auf dem iPad schreiben willst, dann rate ich dir dringend zu einem Screen Protector wie Paperlike.

Im Normalfall würde ich diese Suchbegriffe direkt ins Google Suchfeld schreiben, aber dann könnte ich dir nicht zeigen, womit Scribble zu arbeiten hat. Daher schreibe ich in Notes vor, kopiere und füge in Google ein.

Das geht so halb gut. Scribble liest nicht «Everything is awesome» sondern «Everything is ansane». Ist «ansane» überhaupt ein Wort? Ich hoffe darauf, dass Google merkt, dass das kein Wort ist, selbst etwas AI an die Zeichenfolge ranschmeisst und «Awesome» draus macht. Nein, ich finde komische Bandnamen und dergleichen, den Song aus dem Film aber nicht.

Meine Handschrift ist allgemein so unleserlich, dass ich im Laufe der Jahre ein Wort gefunden habe, das wirklich keiner auf Anhieb lesen kann. Denn die Buchstaben «n», «m», «i», «s», «v», «w», «e» und «u» bestehen bei mir aus demselben visuellen Element: ∧.

Testen wir das mal mit dem Wort:

Ja, das ist ein korrektes, deutsches Wort. Steht auch im Duden. Genau so, wie ich das geschrieben habe. Und genau weil das so aussieht, als ob es eine zufällige Ansammlung an Zacken ist, bin ich der Überzeugung, dass Scribble die Waffen streckt.

Ich schreibe, kopiere, und füge in Google ein. «Nomuinn». Ich muss Scribble zugestehen, dass «om» korrekt ist. Der Rest? Leider nein. Die Google-Suche nach «Nomuinn» ergibt dann auch wenig vernünftiges. Klimatologische Daten des US-Staates Kansas, unter anderem.

Wer mir sagen kann, was ich da geschrieben habe, gewinnt einen Kein-Preis. Das ist wie ein normaler Preis, ausser dass du nichts erhältst, ausser ein handschriftliches Dankeschön. Mit Herzli. Auf dem iPad geschrieben.

Es braucht viel, bis Scribble scheitert. Gross meine Handschrift verstellen muss ich nicht, aber die AI arbeitet besser in Englisch als auf Deutsch. Doch auch mit der Englischen Übersetzung meines Höllenwortes oben kommt Scribble nicht klar. Die Formen sind wohl zu unklar. Sonst wirft mir «Das ist ein Test» die Unsinnsphrase «Pas int ein Test» aus. «This is a test» hingegen liest Scribble problemlos. «Winter is coming» auch, «Best ever» – geschrieben in der Stimme des Tim Cook, natürlich – erkennt das iPad ohne Probleme.

Das grosse Aber

Wenn du dir jetzt ausmalst, dass du ganze Texte, wie diesen Artikel hier zum Beispiel, mit dem Apple Pencil schreiben kannst, dann geht das so halb. Du kannst in Notes alles hinkritzeln, dann in ein Pages oder Google Doc kopieren. Aber die schöne Schrifterkennung, wie sie im Google Suchfeld auftaucht, gibt es weder in Notes noch in Pages noch in Google Docs. Du kannst also nicht von Hand drauflosschreiben und die Software macht dir Bildschirmtext daraus. Das wäre natürlich next-level-grossartig.

Outlook kann das. Aber auch das ist irgendwie kaputt. Ich schreibe also ein Mail an Redaktor Luca Fontana, den ich heute noch nicht geärgert habe. Die Schrifterkennung funktioniert nur richtig gut, wenn ich wirklich gross schreibe, also weit grösser als dass das Textfeld das erlauben würde. Gut, dann soll das halt so sein, aber dann kommt die Sache dazu, wo ich keine Zeilenumbrüche machen kann.

Scribble ist überraschend gut. Es ist extrem schnell, erkennt sogar Schnürlischrift und macht die Arbeit mit dem iPad extrem viel leichter. Aber langen Fliesstext kannst du damit noch nicht bewältigen. Ja, es ist locker möglich, falsche Wörter durchzustreichen, aber am Ende tippe ich dann doch schneller auf einer Tastatur als dass ich mich auf die AI Scribbles verlasse und darauf hoffe, dass da einigermassen richtige Buchstaben rauskommen, wenn ich ganz normal schreibe. Aber wenn ich schnell etwas notieren will in Notes oder etwas per Google suchen will, dann ist das Scribble-System funktionstüchtig und verlässlich.

Scribble ist gefühlte 90% dort, wo es sein möchte. Es ist noch nicht ganz der erhoffte Quantensprung in der Bedienung des Tablets. Dazu fehlt ihm noch die Genauigkeit, das Verständnis der deutschen Sprache – auf Schweizerdeutsch will ich noch gar nicht hoffen – und Dinge wie die Unterstützung von Zeilenumbrüchen. Aber ich bin mir sicher, dass das noch kommt. Denn die Idee, per Handschrift auf einem Tablet zu schreiben und nicht einfach nur zu zeichnen, ist zu gut, als dass sie einfach so links liegen gelassen werden sollte.

So. Fertig. Ich warte mal drauf, was Luca zu meinem fantastischen Mail zu sagen hat.