KI revolutioniert die markerlose Posenerfassung aus Videomaterial

Welche neuronalen Schaltkreise steuern adaptives motorisches Verhalten? Wie werden diese Verhaltensweisen im neuronalen Code dargestellt? Forscher des Mathis Lab (The Rowland Institute an der Harvard University) sind dabei, Antworten auf diese Fragen zu finden, indem sie die Interaktion zwischen Gehirn und Verhalten untersuchen. Das Team unter der Leitung von Mackenzie Mathis "will verstehen, wie neuronale Schaltkreise zu adaptivem motorischem Verhalten beitragen". Die Herausforderung besteht darin, bestimmte Ereignisse im Gehirn mit bestimmten Verhaltensweisen in Verbindung zu bringen. Anhand von Mäusen als Modell verfolgen die Wissenschaftler Verhaltensereignisse und die entsprechende Gehirnaktivität mithilfe von Hochgeschwindigkeitsvideografie, die von The Imaging Source DMK 37BUX287 -Kameras bereitgestellt wird sowie maschinellen Lernalgorithmen aus ihrer eigenen Open-Source-Toolbox DeepLabCut.

Grundsätzlich müssen die Forscher in der Lage sein, das Verhalten von Mäusen genau und intensiv zu verfolgen und quantitative Daten zur Beschreibung der Tierbewegungen zu liefern. "Wir interessieren uns dafür, wie sich die Tiere an ihre Umwelt anpassen, und die Beobachtung ihrer motorischen Aktionen ist ein guter Weg, um zu verstehen, wie das Gehirn dies tut. Daher besteht der erste Schritt in unserer Forschung darin, die Tiere beim Erlernen neuer Aufgaben zu beobachten", sagt Dr. Mathis. Ihr Forschungsteam setzt auf ein Mehrkamerasystem mit DMK 37BUX287-Kameras. Ihre Versuchspersonen sind schnell: "[...] Mäuse können in etwa 200 ms nach einem Gegenstand greifen, daher wollten wir hohe Bildraten und eine gute Auflösung", sagt Dr. Mathis.

Videografie ist eine effiziente Methode zur Aufzeichnung des Verhaltens von Tieren, aber die Extraktion der Pose (d. h. der geometrischen Konfiguration mehrerer Körperteile) stellt für Forscher seit Jahren ein Problem dar. In Humanstudien wird die Bewegungserfassung auf dem neuesten Stand der Technik durch die Verwendung von Markern zur Verfolgung von Gelenken und Gliedmaßenbewegungen oder neuerdings durch neue Deep-Learning-Methoden erreicht. Bei Tieren sind solche Methoden jedoch aus einer Vielzahl von Gründen unpraktisch. Das bedeutet, dass das Verhalten von Tieren bisher mit Hilfe von manuell digitalisierter Videografie verfolgt wurde (d. h. Menschen codieren Videos Bild für Bild) - ein arbeitsintensiver Prozess, der oft ungenau war und Hunderte von Stunden zu Forschungsprojekten hinzufügen konnte.

Um die Extraktion der Körperhaltung zu automatisieren, hat das Team von Dr. Mathis DeepLabCut entwickelt: eine Open-Source-Software zur markerlosen Schätzung der Körperhaltung von benutzerdefinierten Körperteilen. Basierend auf dem (menschlichen) Posenschätzungsalgorithmus DeeperCut verwenden die Forscher Deep-Convolutional-Network-basierte Algorithmen, die sie speziell für diese Aufgabe trainiert haben. In einem in Nature Neuroscience veröffentlichten Artikel schreiben die Autoren, dass das Team die Menge der erforderlichen Trainingsdaten drastisch reduzieren konnte, indem es "vortrainierte Modelle an neue Aufgaben anpasst [...durch] ein Phänomen, das als Transferlernen bekannt ist." DeepLabCut ist so robust und effizient geworden, dass der Algorithmus selbst mit einer relativ kleinen Anzahl von Bildern (~200) eine hervorragende Tracking-Leistung erzielt". Viele Wissenschaftler würdigen die Entwicklung der Software als einen "Game Changer". Mathis Lab verwendet auch IC Capture von The Imaging Source und hat eine Kamerasteuerungs-API The Imaging Source-Kameras zu GitHub hinzugefügt.

DeepLabCut verfolgt und beschriftet (rote, weiße und blaue Punkte) automatisch die Bewegungen einer Maus Bildnachweis: Mackenzie Mathis