Statt Bildfilter: Neuronale Netze machen Kunst

Bildfilter

Neue Computing-Techniken in der Bildverarbeitung faszinieren gerade Unmassen von Smartphone-Besitzern. Neben dem aktuellen Hype um Pocémon Go, der wohl erste massentauglichen Augmented-Reality-Anwendung, hat auch die aus Russland stammende App Prisma für Aufsehen gesorgt. Die macht per Artificial Intelligence (AI) aus Handy-Fotos wirklich ansehnliche Kunstwerke. Wie das geht und aussieht, welche Technik dahinter steckt und welche Alternativen es zu Prisma gibt, beschreibe ich in diesem Artikel.

Vielen echten Künstlern wird es ein Graus sein: Jetzt kommen Kunstwerke aus dem Smartphone, auf KnopfTouchdruck. Das schlecht ausgeleuchtete Selfie wird zu einem Roy-Lichtenberg-Double und die Landschaftsaufnahme erscheint in wilden Pinselstrichen im Van-Gogh-Stil.

Bildfilter
(Abb. Beispiel von Prisma Inc.)

Die App Prisma hält dabei das Versprechen ein, dass hunderte von ähnlichen Fotofiltern nicht ganz erfüllen können. Es entstehen überwiegend sehr schöne und manchmal auch faszinierende Ergebnisse. Erfolgreich: Schneller als ein Grippe-Virus verbreitete sich die iOS-App um die Welt; nach etwas mehr als einer Woche (Start war der 16.06.2016) wurde sie bereits 2 Millionen mal heruntergeladen. Und Millionen von Smartphone-Besitzern warten schon ungeduldig auf das noch für diesen Monat angekündigte Erscheinen der Android-Version.

Wie Kunst aus neuronalen Netzen funktioniert

Mit das Bemerkenswerteste ist, wie die Entwickler es geschafft haben, die Komplexität des ganzen Prozesses sozusagen vor dem Benutzer zu verbergen. Der wählt sein Foto aus, dazu einen Stil (viel mehr Kreativität ist nicht gefordert), und der Rest wird irgendwo im Internet erledigt. Für den Nutzer besteht kein wesentlicher Unterschied als in der Anwendung mit einem üblichen Bildfilter.

Natürlich passiert das nicht in den Datenleitungen, sondern auf den Servern des Anbieters. Und, das ist auch bemerkenswert, innerhalb von Sekunden. Anders als andere Bildfilter wird also das Ergebnis nicht auf dem Smartphone berechnet, sondern in den vernetzten Servern von Prisma Labs.

Eigentlich ist Prisma kein Bildfilter, sondern es wird aus dem Foto und der Stilvorlage ein neues Ge-Bild-e geformt. Charakteristika wie Struktur und Malmuster werden dabei mit dem Foto des Anwenders fusioniert. Der Algorithmus hat als Basis ein so genanntes Deep Neural Network – in Schichten wird dabei Inhalt und Stil erkannt, getrennt und variiert. Auch Meister Zufall ist dabei involviert.

Jede Schicht lässt sich einzeln wie eine Bildfilter-Sammlung betrachten, die sich einem bestimmten Merkmal des Eingabebilds widmet. Durch den gewählten Stil bzw. der gewählten Stil-Bildvorlage werden dabei die Parameter gesetzt. Wem das nun noch nicht technisch genug war, möchte ich auf das wissenschaftliche Papier dazu verweisen, den Link gibt es weiter unten.

Die Alternativen aus der Neuronal-AI-Ecke

Prisma ist nicht alleine unterwegs, hat es aber geschafft, am schnellsten den Weg zum kommerziellen Erfolg einzuschlagen. Aber sie waren nicht die ersten (das betont auch der Prisma Inc-Gründer Alexej Moissejenkow): Inspiriert sind sie dabei durch viele wissenschaftliche Vorentwicklungen, von denen ich hier nur zwei erwähnen will. Und es gab schon vor der Prisma-App andere Dienste – für jedermann und kostenfrei.

Google oder besser inzwischen Alphabet Inc., die übrigens auch Verbindungen zu den Pocémon-Go-Entwicklern haben, beschäftigt bekanntlich eine eigene Forschungsabteilung. Dort hat eine Forschergruppe so ein neuronales Netzwerk namens Deepdream aus bis zu 30 Schichten auf die Bilderkennung und Interpretation anhand von Musterbildern trainiert. Die Ergebnisse sind teils verblüffend – als ob die Forscher ihr Computernetzwerk „auf LSD gesetzt hätten“, wie das Magazin Spiegel schrieb.

Bildfilter
Netz-Werk von deepArt: Links das Ergebnis, in der Mitte das verarbeitete Bild, und rechts die Stilvorlage

Eine speziell künstlerische Ausrichtung, die sofort in der Fachwelt für Aufsehen sorgte, kam wenig später von der Uni Tübingen, unter Beteiligung internationaler Kollegen und Institute. Die Ergebnisse der Forschung von Matthias Bethke und seinem Team waren der Durchbruch, das zugehörige und schon oben erwähnte wissenschaftliche Papier von Erstautor Leon Gatys gilt als eines der (in Fachkreisen) einflussreichsten Arbeiten des Jahres 2015.

Aus der Forschungsarbeit wurde dann eine konkrete Anwendung und von den Beteiligten ein Startup gegründet. Auf der Website deepArt.io sind nun die auf Kunst trainierten Algorithmen seit Anfang 2016 allgemein nutzbar, in einer kleinen Bildauflösung kostenlos. Größere Bilddateien können erworben oder gleich ein Fine Art Print bestellt werden.

Eigene Kunst-Vorlagen verwenden

Der für mich markante Unterschied zu Prisma ist, dass ich bei deepArt eigene Stil-Vorlagen zusätzlich zu meinen Fotos verwenden kann. Das lädt zum Experimentieren ein und man kann so einzigartige Kunst-Bilder generieren. Die Rechenzeit ist dabei allerdings deutlich länger als bei Prisma, deren vorgefertigten Stile auch „vorberechnet“ und optimiert sind, damit das Ergebnis schnell verfügbar ist.

Bildfilter
Output: Links deepArt, rechts ostagram. Als Stilvorlage diente „Der Traum“ von Rousseau.

Ähnlich funktioniert auch der Web-Dienst von ostagram.ru. Auch hier kann man neben seinen Fotos eigene Stil-Vorlagen hochladen, außerdem lässt sich noch die Stärke und Größe des anzuwendenden Stils anpassen. Im obigen Vergleichsbild sieht man schön die Gemeinsamkeiten und Unterschiede.

Im Internet finden sich noch einige weitere Online-Dienste, die hauptsächlich auf den Code von Googles Deepdream aufsetzen, einige Programmierer haben ihre Projekte auch auf Github als Open Source zur Verfügung gestellt. Manche davon sind schlecht umgesetzt oder einfach obskur. Durchaus ausprobieren kann man jedoch etwa Dreamscope von Lambda Labs, die sonst eigentlich auf dem Gebiet der Gesichtserkennung daheim sind. Der Vorteil von Dreamscope: Die kostenfreien Ergebnisse haben eine etwas höhere Auflösung als etwa bei deepArt.

Das nächste Ding: Nach Fotografien sollen jetzt auch Videos als Rohmaterial dienen können. Prisma hat dies angekündigt und deepArt bereits (kostenpflichtig) eingeführt – hier ein kurzes Video dazu:

Ach ja: Wer errät, welches Gemälde ich für das Titelbild dieses Artikels als Stilvorlage verwendet habe (das mit dem Leuchtturm)? Einen Hinweis liefert dieser Bild-Link.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.