Sony bringt den ersten «intelligenten» Fotosensor

Bildanalyse durch künstliche Intelligenz ist allgegenwärtig. In Kameras beispielsweise beim Autofokus, wo KI die automatische Erkennung von Augen, Gesichtern sowie beweglichen Motiven ermöglicht. Bislang leitet der Sensor die Daten unbearbeitet an eine Recheneinheit weiter, die sie analysiert. Der neue Sensor IMX500 verfügt über einen integrierten Logikchip: Die Bildanalyse findet bereits auf Stufe Sensor statt. Laut Sony ist das eine Weltneuheit.

Der Sensor soll im Bereich Industrie und Internet of Things eingesetzt werden. Er sendet nicht das eigentliche Pixelbild weiter, sondern lediglich semantische Informationen darüber, was auf dem Bild zu sehen ist. Das braucht viel weniger Speicherplatz und geschieht deshalb praktisch verzögerungsfrei. Offenbar ist die KI auf dem Sensor selbst schnell genug, diese Informationen in Echtzeit zu kreieren.

Überwachungskameras in der Industrie erzeugen riesige Datenmengen, die in der Cloud gespeichert werden. Auch hier wird der geringe Speicherplatz von Vorteil sein. Ausserdem sollen Datenschutzvorgaben besser eingehalten werden können, wenn nur eine Information statt des Fotos gespeichert wird.

Der Chip ist prinzipiell fähig, auch ein herkömmliches Foto zu erzeugen und weiterzuleiten. Oder einen Ausschnitt wie der Kopf. Oder eine Schwarzweiss-Version. Was genau ausgegeben wird, hängt von der Konfiguration und den Wünschen des Nutzers ab.

Je nach Anwendungsgebiet können die Kunden ein anderes KI-Modell für die Bildanalyse nutzen. Dazu wird der interne Speicher entsprechend den jeweiligen Anforderungen oder den Bedingungen am Einsatzort des Systems neu beschrieben.

Wenn beispielsweise mehrere Kameras, die den Sensor nutzen, in einem Ladengeschäft installiert sind, lassen sich mit einem einzigen Kameratyp verschiedene Standorte, Bedingungen, Zeiten oder Zwecke abdecken.

Beispiele, die Sony nennt: Wird die Kamera im Eingangsbereich eines Ladengeschäfts installiert, können damit die Kunden gezählt werden. Wird sie an einem Regal angebracht, kann damit erkannt werden, wo Waren fehlen. Wenn die Kamera an der Decke installiert ist, kann sie zur Erstellung von Wärmebildern genutzt werden (um Bereiche zu erkennen, in denen viele Ladenbesucher zusammentreffen). Darüber hinaus kann das KI-Modell in einer Kamera neu geschrieben werden, sodass beispielsweise aus einem Modell zur Erkennung von Heatmaps ein Modell zur Ermittlung des Kundenverhaltens wird.

Der Sensor ist 1/2.3 Zoll gross und bietet eine Auflösung von 12.3 Megapixeln. Er existiert als reiner Chip (IMX500) und als Package mit einem Keramik-LGA (IMX501). Inwiefern diese Technologie auch für normale Fotokameras adaptiert werden kann, bleibt abzuwarten.