Ein Foto vom vollen Teller und einen Augenblick später verrät die Ernährungs-App, aus welchen Zutaten das Mittagsgericht aus der Kantine besteht. Neu ist das Prinzip nicht. Die Mustererkennung beschränkt sich bislang aber in der Regel darauf, Zutaten wie Gemüse, Käse oder Fleisch zu identifizieren [1]. Statt grob auf Form und Farbe zu achten, analysiert das KI-System FAIGE (Foodscan Artificial Intelligence Generic Entry) die Nahinfrarotanteile im Spektrum auf Pixelebene.

Die Idee stammt von einer Projektgruppe aus Studenten unterschiedlicher Fakultäten der Leibniz Universität Hannover. Deren KI erkennt im Rauschen der Fotos handelsüblicher Smartphones Moleküle wie Laktose, Stärke und sogar Insektenproteine. Letztere sind spannend, da nach der Novel-Food-Verordnung der Europäischen Union immer mehr Insekten als Lebensmittel zugelassen sind [2]. So darf etwa seit Anfang 2023 der Getreideschimmelkäfer (Alphitobius diaperinus, Handelsname „Buffalowurm“) als Proteinquelle beigemischt werden. Die Hersteller müssen zwar kennzeichnen, wenn sie in Brot, Getreideriegeln oder Nudeln das teure Insektenmehl beimischen, aber gerade, wer auswärts isst, kann das auf die Schnelle kaum selbst prüfen.

Smartphonekamera erkennt Infrarotreflexionen

Damit die Erkennung zuverlässig klappt, benötigt man ein modernes Android-Smartphone im Entwicklermodus – eine iOS-Version gibt es noch nicht. Den Entwicklermodus im Android-Gerät entsperren Sie, indem Sie siebenmal in den Einstellungen auf die Android-Versionsnummer tippen. Im Entwicklermodus bekamen die Nachwuchsforscher Zugriff auf das Rohdaten-Histogramm der Fotos, das auch Informationen zum im sichtbaren Bild herausgerechneten Nahinfrarotanteil des Fotosensors im Farbspektrum enthält.Besonders gut klappt die Erkennung mit einer extrem fein auflösenden Kamera wie der im Samsung Galaxy S23 Ultra mit 200-Megapixel-Kamera [3].

„Wir experimentieren seit mehr als fünf Jahren mit Quantenfeldresonanzen von Polysacchariden mit Lasern im nahinfraroten Wellenlängenbereich knapp außerhalb des von Menschen wahrgenommenen Spektrums. Wir waren aber alle überrascht, wie viel Licht dieser Wellenlänge normale CMOS-Sensoren aufnehmen können.“, kommentiert Professorin Dr. Ingeborg Zymniak das bahnbrechende Untersuchungsergebnis ihrer Studenten. Bei den Versuchen wurden Moleküle mit α-D-Glucose-Einheiten wie Stärke mithilfe von Licht im sichtbaren Spektrum in Schwingung versetzt und strahlten einen Anteil davon charakteristisch im nahinfraroten Spektrum ab. Die aufgrund der Farbe vorhergesagte Strahlungsintensität erhöhte sich durch die Eigenschwingung je nach Substanz um bis zu 1,4 Prozent. Gemittelt über mindestens zwölf Millionen Pixel ließ sich eine stabile und statistisch signifikante Abweichung aus dem Bildrauschen je nach Substanz herausrechnen. Anders gesagt: Wenn Erbsen nicht nur grün sind, sondern auch ein bestimmtes nahinfrarotes Spektrum abstrahlen, ist ein ganz bestimmter Zusatzstoff oder sogar ein Allergen dafür verantwortlich.

Das raffinierte Analyseverfahren läuft so ab: Zunächst fotografieren Sie mit dem Smartphone mehrere Referenzbilder, um den lernfähigen KI-Algorithmus auf die Kameraeigenheiten zu kalibrieren. Wichtig ist dabei, dass dabei von den Referenzlebensmitteln nicht abgewichen wird, sonst schlägt die Kalibrierung fehl. Zymniak dazu: „Schon als wir Basmatireis einer Marke durch den einer anderen Marke ersetzten, verfälschte dies die Messergebnisse.“ Steht die Kalibration, folgt das Foto von dem Essen oder dem Fertiggericht, das Sie analysieren möchten. Die Analyse übernimmt ein tiefes Convolutional Network auf einem remote GPU-Server. Das neuronale Netz sucht nach Mustern in der Abweichung im Rauschverhalten zwischen Kalibrierungsbildern und Analysebild.

„Wir haben als Trainingsdaten Hunderte Fotos von Mensagerichten geschossen und deren Inhaltsstoffe in unsere Datenbank eingetragen“, erklärt die angehende Laser-Informatikerin Yasmin Gormes-Abzi. Nach wenigen Sekunden spuckt das System aus, wie hoch es den Gehalt der Inhaltsstoffe schätzt. Etwas ungeklärt erscheint noch, warum das System vor allem Insektenproteine deutlich erkennt. „Weder aus der Molekülstruktur der Aminosäuren noch aus den Peptidbindungen lässt sich die starke Quantenresonanz der Insektenproteine zufriedenstellend erklären“, erklärt Finn Labskus, der als Biochemiker über die Schützenhilfe der KI froh ist: „Unsere KI lernt aus den Daten wohl eine unbeschriebene Faltungscharakteristik. Wie die 3D-Struktur wirklich aussieht, wissen wir nicht.“ Derzeit ist die Analyse beschränkt auf Stärke, Laktosegehalt und Insektenprotein. Für andere Lebensmittelbestandteile lassen sich die Schwankungen im Nahinfrarotbereich derzeit noch nicht aus dem statistischen Rauschen isolieren.

Insektenpasta gab den Anstoß

Das Projekt entstand aus einer Idee, nach Insekten im Essen zu suchen. Demnach bekamen die Studenten eine Tüte „Insect Pasta Spätzle“ als Gastgeschenk zu einer Party. Aus Zweifeln, wie man beweisen könnte, dass es sich nicht um ein Marketing-Gag handelt und ob wirklich Buffalowürmer beigemischt seien, entstand zunächst die Idee, die Inhaltsstoffe fotografisch auszuwerten. Als dies scheiterte, stießen die Studenten auf die bislang ungenutzten Rohdaten der Sensoren und entwickelten das beschriebene Analyseverfahren.

Für das Training der KI kochten sie diverse Male vergleichbare Gerichte, einmal mit dem Allergen beziehungsweise Insektenmehl, einmal ohne, bis die KI die Smartphonebilder zuverlässig voneinander unterschied, schildert Gormes-Abzi gegenüber c’t.

Die Forschungsgruppe plant, ihr KI-System als Open-Source-Software zu veröffentlichen und will das Modell mit mehr Daten feintunen. Für einen Test der Betaversion installierte c’t die KI-Software auf einem eigenen Server. Sie ist für interessierte Leser über ct.de/insectdetect zugänglich. Dort hochgeladene Bilder werden als Trainingsdaten gespeichert und den Entwicklern zur Verfügung gestellt. Die bisherigen Ergebnisse erscheinen reproduzierbar und vertrauenerweckend: Die beliebte XXL-Currywurst in der Heise-Kantine kommt einigermaßen sicher vom Schwein und enthielt weniger als die Nachweisgrenze für Insektenprotein.

Probieren geht über Studieren

Durch Ihre Vergleichsfotos können Sie der Forschung helfen, damit das KI-System auch dann analysieren kann, wenn man kein Premium-Smartphone mit Spitzenkamera hat. Sie brauchen einen weißen Teller und ein Zollstock oder Lineal. Zudem benötigen Sie eine ungekochte Kartoffel, etwas Mehl sowie Milch. Legen Sie das Lineal neben den Teller, damit das System die Größenverhältnisse bestimmen kann, und machen ein Foto vom leeren Teller. Anschließend schneiden Sie eine Scheibe von der Kartoffel ab (etwa 6 mm, ungefähr so dick wie eine c’t), die Sie auf dem Teller liegend ebenfalls ablichten. Gleiches tun Sie sowohl mit je einem Esslöffel Mehl und Milch, aber nacheinander. Mit diesen Kalibrierungsbildern gleicht das System die Eigenheiten der unterschiedlichen Kameramodelle aus und bestimmt Referenzpunkte für die eigentliche Datenanalyse. Schlussendlich fotografieren Sie auf dem Teller die Speise, die Sie untersuchen möchten. Benennen Sie die Speise möglichst aussagekräftig im Dateinamen. Die insgesamt fünf Fotos laden Sie auf ct.de/insectdetect hoch. Kurze Zeit nach dem Upload teilt Ihnen die Software das unter dem Forschungsvorbehalt stehende Ergebnis mit.

Sollte sich das System in der Praxis als praktikabel erweisen, wäre es ein praktisches Hilfsmittel für Lebensmittelsensible, Allergiker oder Fans von insektoiden Proteinen. (ktn@ct.de)

Link zum Testserver: ct.de/yw2k

Quelle: https://www.heise.de/