Computer können jetzt Autos fahren, Weltmeister bei Brettspielen wie Schach und Go schlagen und sogar Prosa schreiben. Die Revolution in der künstlichen Intelligenz beruht zu einem großen Teil auf der Kraft einer bestimmten Art von künstlichem neuronalen Netzwerk, dessen Design von den verbundenen Schichten von Neuronen im visuellen Kortex von Säugetieren inspiriert ist. Diese „Convolutional Neural Networks“(CNNs) haben sich als überraschend geschickt beim Lernen von Mustern in zweidimensionalen Daten erwiesen - insbesondere bei Computer Vision-Aufgaben wie dem Erkennen handgeschriebener Wörter und Objekte in digitalen Bildern.
Nachdruck der Originalgeschichte mit Genehmigung des Quanta Magazine, einer redaktionell unabhängigen Veröffentlichung der Simons Foundation, deren Aufgabe es ist, das Verständnis der Öffentlichkeit für die Wissenschaft zu verbessern, indem Forschungsentwicklungen und -trends in den Bereichen Mathematik, Physik und Biowissenschaften behandelt werden.
Auf Datensätze ohne eingebaute planare Geometrie angewendet, z. B. auf Modelle mit unregelmäßigen Formen, die in der 3D-Computeranimation verwendet werden, oder auf Punktwolken, die von sich selbst fahrenden Autos erzeugt werden, um ihre Umgebung abzubilden, funktioniert diese leistungsstarke Architektur des maschinellen Lernens nicht Gut. Um 2016 herum entstand eine neue Disziplin namens geometrisches Tiefenlernen mit dem Ziel, CNNs aus dem Flachland zu heben.
Jetzt haben die Forscher einen neuen theoretischen Rahmen für den Aufbau neuronaler Netze geliefert, mit dem Muster auf jeder Art von geometrischer Oberfläche gelernt werden können. Diese an der Universität Amsterdam und Qualcomm AI Research von Taco Cohen, Maurice Weiler, Berkay Kicanaoglu und Max Welling entwickelten „gauge-äquivarianten Faltungs-Neuronalen Netze“oder gauge-CNNs können Muster nicht nur in 2D-Arrays von Pixeln erfassen, sondern auch auf Kugeln und asymmetrisch gekrümmten Objekten. "Dieser Rahmen ist eine ziemlich definitive Antwort auf dieses Problem des Tiefenlernens auf gekrümmten Oberflächen", sagte Welling.
Bereits jetzt haben die CNNs von Messgeräten ihre Vorgänger in Bezug auf Lernmuster in simulierten globalen Klimadaten, die auf natürliche Weise auf eine Kugel abgebildet werden, deutlich übertroffen. Die Algorithmen können sich auch als nützlich erweisen, um die Sicht von Drohnen und autonomen Fahrzeugen zu verbessern, die Objekte in 3D sehen, und um Muster in Daten zu erkennen, die von unregelmäßig gekrümmten Oberflächen von Herzen, Gehirnen oder anderen Organen erfasst werden.
Die Lösung der Forscher, um tiefes Lernen über das Flachland hinaus zu ermöglichen, hat auch tiefe Verbindungen zur Physik. Physikalische Theorien, die die Welt beschreiben, weisen wie Albert Einsteins allgemeine Relativitätstheorie und das Standardmodell der Teilchenphysik eine Eigenschaft auf, die als „Eichäquivarianz“bezeichnet wird. Dies bedeutet, dass Größen in der Welt und ihre Beziehungen nicht von willkürlichen Bezugsrahmen abhängen (oder "Messgeräte"); Sie bleiben unabhängig davon, ob sich ein Beobachter bewegt oder stillsteht, und unabhängig davon, wie weit die Zahlen auf einem Lineal voneinander entfernt sind. Die in diesen verschiedenen Messgeräten vorgenommenen Messungen müssen so ineinander konvertierbar sein, dass die zugrunde liegenden Beziehungen zwischen den Dingen erhalten bleiben.
Stellen Sie sich zum Beispiel vor, Sie messen die Länge eines Fußballfelds in Metern und dann erneut in Metern. Die Zahlen ändern sich, aber auf vorhersehbare Weise. In ähnlicher Weise erzeugen zwei Fotografen, die ein Bild eines Objekts aus zwei verschiedenen Blickwinkeln aufnehmen, unterschiedliche Bilder, aber diese Bilder können miteinander in Beziehung gesetzt werden. Die Äquivarianz der Messgeräte stellt sicher, dass die Realitätsmodelle der Physiker unabhängig von ihrer Perspektive oder Maßeinheit konsistent bleiben. Und CNNs für Messgeräte gehen von denselben Daten aus.
"Die gleiche Idee [aus der Physik], dass es keine spezielle Orientierung gibt - sie wollten das in neuronale Netze bringen", sagte Kyle Cranmer, ein Physiker an der New York University, der maschinelles Lernen auf Teilchenphysikdaten anwendet. "Und sie fanden heraus, wie es geht."
Flucht aus dem Flachland
Michael Bronstein, Informatiker am Imperial College London, prägte den Begriff „geometrisches Tiefenlernen“im Jahr 2015, um die entstehenden Bemühungen zu beschreiben, das Flachland zu verlassen und neuronale Netze zu entwerfen, die Muster in nichtplanaren Daten lernen könnten. Der Begriff - und der Forschungsaufwand - setzte sich bald durch.
Bronstein und seine Mitarbeiter wussten, dass sie, wenn sie über die euklidische Ebene hinausgingen, eines der grundlegenden Rechenverfahren neu überdenken mussten, die neuronale Netze bei der Erkennung von 2D-Bildern so effektiv machten. Mit dieser Prozedur, die als "Faltung" bezeichnet wird, kann eine Schicht des neuronalen Netzwerks eine mathematische Operation für kleine Patches der Eingabedaten ausführen und die Ergebnisse dann an die nächste Schicht im Netzwerk weiterleiten.
„Man kann sich Faltung grob als Schiebefenster vorstellen“, erklärte Bronstein. Ein neuronales Faltungsnetzwerk lässt viele dieser „Fenster“wie Filter über die Daten gleiten, wobei jedes einzelne dazu dient, eine bestimmte Art von Muster in den Daten zu erkennen. Im Fall eines Katzenfotos kann ein trainierter CNN Filter verwenden, die Merkmale auf niedriger Ebene in den rohen Eingabepixeln, wie z. B. Kanten, erkennen. Diese Features werden an andere Layer im Netzwerk übergeben, die zusätzliche Faltungen ausführen und übergeordnete Features wie Augen, Schwänze oder dreieckige Ohren extrahieren. Ein CNN, der darauf trainiert ist, Katzen zu erkennen, verwendet letztendlich die Ergebnisse dieser überlagerten Windungen, um dem gesamten Bild eine Bezeichnung zuzuweisen, z. B. „Katze“oder „keine Katze“.
Dieser Ansatz funktioniert jedoch nur in einem Flugzeug. "Wenn die Oberfläche, auf der Sie Ihre Analyse durchführen möchten, gekrümmt wird, sind Sie im Grunde in Schwierigkeiten", sagte Welling.
Weiter lesen
Das Neueste über künstliche Intelligenz, vom maschinellen Lernen bis zur Bildverarbeitung und mehr
Das Durchführen einer Faltung auf einer gekrümmten Oberfläche - in der Geometrie als Mannigfaltigkeit bekannt - ähnelt dem Halten eines kleinen Quadrats durchscheinenden Millimeterpapiers über einem Globus und dem Versuch, die grönländische Küste genau zu verfolgen. Sie können das Quadrat nicht auf Grönland drücken, ohne das Papier zu zerknittern, was bedeutet, dass Ihre Zeichnung verzerrt wird, wenn Sie sie wieder flach legen. Wenn Sie jedoch das Papierquadrat an einer Stelle tangential zum Globus halten und Grönlands Rand verfolgen, während Sie durch das Papier blicken (eine Technik, die als Mercator-Projektion bezeichnet wird), entstehen ebenfalls Verzerrungen. Alternativ könnten Sie Ihr Millimeterpapier einfach auf eine flache Weltkarte anstatt auf einen Globus legen, aber dann würden Sie diese Verzerrungen einfach nachbilden - wie die Tatsache, dass der gesamte obere Rand der Karte tatsächlich nur einen einzigen Punkt auf dem Globus darstellt (der Nordpol). Und wenn die Mannigfaltigkeit keine saubere Kugel wie ein Globus ist, sondern etwas Komplexeres oder Unregelmäßigeres wie die 3D-Form einer Flasche oder ein gefaltetes Protein, wird es noch schwieriger, eine Faltung darauf durchzuführen.
Bronstein und seine Mitarbeiter fanden eine Lösung für das Problem der Faltung über nichteuklidische Mannigfaltigkeiten im Jahr 2015, indem sie das Schiebefenster in eine Form versetzten, die eher einem kreisförmigen Spinnennetz als einem Millimeterpapier ähnelte, sodass man es gegen den Globus drücken konnte (oder eine gekrümmte Oberfläche), ohne sie zu kräuseln, zu dehnen oder zu zerreißen.
Durch die Änderung der Eigenschaften des Gleitfilters auf diese Weise konnte die CNN bestimmte geometrische Zusammenhänge viel besser „verstehen“. Zum Beispiel könnte das Netzwerk automatisch erkennen, dass eine in zwei verschiedene Posen gebogene 3D-Form - wie eine aufrechte menschliche Figur und eine ein Bein hebende menschliche Figur - Instanzen desselben Objekts sind und nicht zwei völlig verschiedene Objekte. Die Änderung machte auch das neuronale Netz beim Lernen dramatisch effizienter. Standard-CNNs "verwendeten Millionen von Beispielen für Formen und mussten wochenlang trainiert werden", sagte Bronstein. "Wir haben so etwas wie 100 Formen in verschiedenen Posen verwendet und etwa eine halbe Stunde trainiert."
Zur gleichen Zeit begannen Taco Cohen und seine Kollegen in Amsterdam, dasselbe Problem aus der entgegengesetzten Richtung anzugehen. 2015 lernte der damalige Doktorand Cohen nicht, wie man tiefes Lernen aus dem Flachland hebt. Vielmehr interessierte ihn, was er für ein praktisches technisches Problem hielt: Dateneffizienz oder wie man neuronale Netze mit weniger Beispielen trainiert als die Tausenden oder Millionen, die sie oft benötigten. "Deep Learning-Methoden sind zum Beispiel sehr langsame Lerner", sagte Cohen. Dies wirft nur wenige Probleme auf, wenn Sie eine CNN trainieren, um beispielsweise Katzen zu erkennen (angesichts des unüberschaubaren Angebots an Katzenbildern im Internet). Wenn Sie jedoch möchten, dass das Netzwerk etwas Wichtigeres erkennt, wie z. B. krebsartige Knoten in Bildern von Lungengewebe, ist es nicht so einfach, ausreichende Trainingsdaten zu finden, die medizinisch korrekt, entsprechend gekennzeichnet und frei von Datenschutzproblemen sein müssen. Je weniger Beispiele zum Trainieren des Netzwerks benötigt werden, desto besser.
Cohen wusste, dass eine Möglichkeit, die Dateneffizienz eines neuronalen Netzwerks zu steigern, darin besteht, es im Voraus mit bestimmten Annahmen über die Daten auszustatten - wie zum Beispiel, dass ein Lungentumor immer noch ein Lungentumor ist, auch wenn er rotiert oder darin reflektiert wird ein Bild. In der Regel muss ein Faltungsnetzwerk diese Informationen von Grund auf lernen, indem es an vielen Beispielen desselben Musters in unterschiedlichen Ausrichtungen trainiert. 2016 haben Cohen und Welling gemeinsam einen Artikel verfasst, in dem definiert wird, wie einige dieser Annahmen als geometrische Symmetrien in ein neuronales Netzwerk codiert werden können. Dieser Ansatz funktionierte so gut, dass Cohen und Co-Autorin Marysia Winkels ihn bis 2018 noch weiter verallgemeinerten und vielversprechende Ergebnisse bei der Erkennung von Lungenkrebs in CT-Scans zeigten: Ihr neuronales Netzwerk konnte visuelle Anzeichen für die Krankheit anhand von nur einem Zehntel der Befunde identifizieren Daten, die zum Trainieren anderer Netzwerke verwendet werden.
Die Amsterdamer Forscher verallgemeinerten weiter. So fanden sie ihren Weg, um die Äquivarianz zu messen.
Erweiterung der Äquivarianz
Physik und maschinelles Lernen haben eine grundlegende Ähnlichkeit. Wie Cohen es ausdrückte: „In beiden Feldern geht es darum, Beobachtungen zu machen und dann Modelle zu bauen, um zukünftige Beobachtungen vorherzusagen.“Entscheidend ist, dass beide Felder nach Modellen suchen, die nichts mit einzelnen Dingen zu tun haben -down Wasserstoffatome - aber von allgemeinen Kategorien von Dingen. "Die Physik war dabei natürlich sehr erfolgreich."
Äquivarianz (oder „Kovarianz“, der von Physikern bevorzugte Begriff) ist eine Annahme, auf die sich Physiker seit Einstein verlassen haben, um ihre Modelle zu verallgemeinern. "Es bedeutet nur, dass, wenn Sie einiges an Physik richtig beschreiben, es unabhängig davon sein sollte, welche Art von 'Herrschern' Sie verwenden oder allgemeiner, welche Art von Beobachtern Sie sind", erklärte Miranda Cheng, eine theoretische Physikerin an der Universität von Amsterdam, der mit Cohen und anderen einen Artikel über die Zusammenhänge zwischen Physik und CNNs schrieb. Oder wie Einstein selbst es 1916 ausdrückte: "Die allgemeinen Naturgesetze sind durch Gleichungen auszudrücken, die für alle Koordinatensysteme gelten."
Faltungsnetzwerke wurden zu einer der erfolgreichsten Methoden beim vertieften Lernen, indem ein einfaches Beispiel dieses Prinzips namens „Übersetzungsäquivarianz“ausgenutzt wurde. Ein Fensterfilter, der ein bestimmtes Merkmal in einem Bild - beispielsweise vertikale Kanten - erkennt, gleitet (oder „übersetzt“).) über die Pixelebene und codiere die Orte aller dieser vertikalen Kanten; Anschließend wird eine „Feature Map“erstellt, die diese Standorte kennzeichnet und an die nächste Ebene im Netzwerk weiterleitet. Das Erstellen von Feature-Maps ist aufgrund der Übersetzungsäquivarianz möglich: Das neuronale Netzwerk "nimmt" an, dass dasselbe Feature an einer beliebigen Stelle in der 2D-Ebene auftreten kann und erkennt eine vertikale Kante als vertikale Kante, unabhängig davon, ob sie sich in der oberen rechten Ecke oder in der unteren linken Ecke befindet.
"Bei äquivarianten neuronalen Netzen geht es darum, diese offensichtlichen Symmetrien in die Netzwerkarchitektur einzufügen, damit es eine Art kostenloses Mittagessen gibt", sagte Weiler.
Bis 2018 hatten Weiler, Cohen und ihr Doktorvater Max Welling dieses „kostenlose Mittagessen“auf andere Arten der Äquivarianz ausgeweitet. Ihre "gruppenäquivarianten" CNNs konnten gedrehte oder reflektierte Merkmale in flachen Bildern erkennen, ohne dass sie bestimmte Beispiele für die Merkmale in diesen Ausrichtungen trainieren mussten. sphärische CNNs könnten Feature-Maps aus Daten auf der Oberfläche einer Kugel erstellen, ohne sie als flache Projektionen zu verzerren.
Diese Ansätze waren immer noch nicht allgemein genug, um Daten zu Mannigfaltigkeiten mit einer holprigen, unregelmäßigen Struktur zu verarbeiten - die die Geometrie von fast allem beschreiben, von Kartoffeln über Proteine bis hin zu menschlichen Körpern und der Krümmung der Raum-Zeit. Diese Arten von Mannigfaltigkeiten haben keine "globale" Symmetrie für ein neuronales Netzwerk, um äquivariante Annahmen zu treffen über: Jeder Ort auf ihnen ist anders.
Die Herausforderung besteht darin, dass das Schieben eines flachen Filters über die Oberfläche die Ausrichtung des Filters in Abhängigkeit vom jeweiligen Pfad ändern kann. Stellen Sie sich einen Filter vor, mit dem ein einfaches Muster erkannt werden soll: ein dunkler Fleck links und ein heller Fleck rechts. Schieben Sie es auf einem flachen Gitter nach oben, unten, links oder rechts, und es bleibt immer mit der rechten Seite nach oben. Aber auch auf der Oberfläche einer Kugel ändert sich dies. Wenn Sie den Filter um 180 Grad um den Äquator der Kugel bewegen, bleibt die Ausrichtung des Filters unverändert: dunkler Fleck links, heller Fleck rechts. Wenn Sie ihn jedoch über den Nordpol der Kugel an dieselbe Stelle schieben, ist der Filter jetzt auf dem Kopf - dunkler Fleck rechts, heller Fleck links. Der Filter erkennt nicht dasselbe Muster in den Daten und codiert nicht dieselbe Feature-Map. Bewegen Sie den Filter um einen komplizierteren Verteiler, und er könnte in eine beliebige Anzahl inkonsistenter Richtungen zeigen.
Glücklicherweise haben sich die Physiker seit Einstein mit dem gleichen Problem befasst und eine Lösung gefunden: Eichäquivarianz.
Der Schlüssel, erklärte Welling, besteht darin, zu vergessen, wie sich die Ausrichtung des Filters ändert, wenn er sich auf verschiedenen Pfaden bewegt. Stattdessen können Sie nur eine Filterausrichtung (oder Messanzeige) auswählen und anschließend eine konsistente Methode definieren, um jede andere Ausrichtung in diese umzuwandeln.
Der Haken ist, dass, während jedes beliebige Messgerät in einer anfänglichen Ausrichtung verwendet werden kann, die Umwandlung anderer Messgeräte in diesen Referenzrahmen das zugrunde liegende Muster bewahren muss - genau wie die Umwandlung der Lichtgeschwindigkeit von Metern pro Sekunde in Meilen pro Stunde das Muster bewahren muss zugrunde liegende physikalische Größe. Mit diesem gauge-äquivarianten Ansatz, so Welling, "ändern sich die tatsächlichen Zahlen, aber sie ändern sich auf völlig vorhersehbare Weise."
Cohen, Weiler und Welling haben 2019 die Äquivarianz der Messgeräte - das ultimative „kostenlose Mittagessen“- in ihr faltungsorientiertes neuronales Netzwerk aufgenommen. Dazu haben sie mathematische Einschränkungen für das vorgenommen, was das neuronale Netzwerk über seine Faltungen in den Daten „sehen“konnte. Es wurden nur gauge-äquivariante Muster durch die Schichten des Netzwerks geleitet. "Grundsätzlich kann man ihm jede Oberfläche geben" - von euklidischen Ebenen bis zu willkürlich gekrümmten Objekten, einschließlich exotischer Mannigfaltigkeiten wie Klein-Flaschen oder vierdimensionaler Raumzeit - "und es ist gut, auf dieser Oberfläche tief zu lernen", sagte Welling.
Eine Arbeitstheorie
Die Theorie der gauge-äquivarianten CNNs ist so verallgemeinert, dass sie automatisch die eingebauten Annahmen früherer geometrischer Deep-Learning-Ansätze einbezieht - wie Rotationsäquivarianz und Verschiebungsfilter auf Kugeln. Sogar Michael Bronsteins frühere Methode, mit der neuronale Netze eine einzelne, in verschiedene Posen gebogene 3D-Form erkennen, passt in diese. „Die Äquivarianz von Messgeräten ist ein sehr breiter Rahmen. Es enthält das, was wir 2015 als besondere Einstellungen gemacht haben “, sagte Bronstein.
Ein CNN-Messgerät würde theoretisch auf jeder gekrümmten Oberfläche jeder Dimension funktionieren, aber Cohen und seine Co-Autoren haben es an globalen Klimadaten getestet, denen zwangsläufig eine 3D-Kugelstruktur zugrunde liegt. Sie verwendeten ihr gauge-äquivariantes Framework, um ein CNN zu konstruieren, das darauf trainiert ist, extreme Wettermuster wie tropische Wirbelstürme aus Klimasimulationsdaten zu erkennen. Im Jahr 2017 verwendeten staatliche und akademische Forscher ein Standard-Faltungsnetzwerk, um Zyklone in den Daten mit einer Genauigkeit von 74% zu erkennen. Im vergangenen Jahr hat das Messgerät CNN die Zyklone mit einer Genauigkeit von 97, 9% erfasst. (Es übertraf auch einen weniger allgemeinen geometrischen Deep-Learning-Ansatz, der 2018 speziell für Sphären entwickelt wurde - dieses System war zu 94% genau.)
ERFAHREN SIE MEHR
Der WIRED-Leitfaden für künstliche Intelligenz
Mayur Mudigonda, ein Klimaforscher am Lawrence Berkeley National Laboratory, der tiefes Lernen anwendet, sagte, er werde weiterhin darauf achten, CNNs zu messen. "Dieser Aspekt der menschlichen visuellen Intelligenz" - Muster werden unabhängig von ihrer Ausrichtung genau erkannt - "ist das, was wir in die Klima-Community übersetzen möchten", sagte er. Qualcomm, ein Chiphersteller, der vor kurzem Cohen und Welling engagiert und ein Startup erworben hat, das seine frühen Arbeiten in äquivarianten neuronalen Netzen einbezog, plant nun die Anwendung der Theorie der Gauge-CNNs, um verbesserte Computer-Vision-Anwendungen zu entwickeln, wie sie eine Drohne „sehen kann“In 360 Grad auf einmal. (Diese Ansicht der Welt aus der Vogelperspektive kann auf natürliche Weise auf eine sphärische Oberfläche abgebildet werden, genau wie globale Klimadaten.)
Unterdessen gewinnen CNNs für Messgeräte unter Physikern wie Cranmer an Bedeutung, die Daten aus Simulationen subatomarer Partikelwechselwirkungen verarbeiten möchten. "Wir analysieren Daten im Zusammenhang mit der starken [nuklearen] Kraft und versuchen zu verstehen, was in einem Proton vor sich geht", sagte Cranmer. Die Daten sind vierdimensional, sagte er, "also haben wir einen perfekten Anwendungsfall für neuronale Netze, die diese Eichäquivarianz haben."
Risi Kondor, ein ehemaliger Physiker, der sich jetzt mit äquivarianten neuronalen Netzen befasst, sagte, dass die potenziellen wissenschaftlichen Anwendungen von CNNs wichtiger sein könnten als ihre Verwendung in der KI.
"Wenn Sie Katzen auf YouTube erkennen und feststellen, dass Sie verkehrte Katzen nicht so gut erkennen können, ist das nicht so toll, aber vielleicht können Sie damit leben", sagte er. Für Physiker ist es jedoch von entscheidender Bedeutung, dass ein neuronales Netzwerk ein Kraftfeld oder eine Teilchenbahn aufgrund seiner besonderen Ausrichtung nicht falsch identifiziert. "Es ist nicht nur eine Frage der Bequemlichkeit", sagte Kondor - "es ist wichtig, dass die zugrunde liegenden Symmetrien eingehalten werden."
Aber während die Mathematik der Physiker dazu beigetragen hat, CNNs zu inspirieren, und die Physiker möglicherweise reichlich Verwendung für sie finden, merkte Cohen an, dass diese neuronalen Netze selbst keine neue Physik entdecken werden. "Wir sind jetzt in der Lage, Netzwerke zu entwerfen, die sehr exotische Arten von Daten verarbeiten können, aber Sie müssen wissen, wie diese Daten aufgebaut sind", sagte er im Voraus. Mit anderen Worten, der Grund, warum Physiker CNNs verwenden können, ist, dass Einstein bereits bewiesen hat, dass Raum-Zeit als vierdimensionale gekrümmte Mannigfaltigkeit dargestellt werden kann. Cohens neuronales Netzwerk würde diese Struktur nicht alleine „sehen“können. "Das Erlernen von Symmetrien ist etwas, was wir nicht tun", sagte er, obwohl er hofft, dass es in Zukunft möglich sein wird.
