Wir haben uns mit Douglas Mason unterhalten, Data Scientist und CEO von Koyote Science. Er teilte großzügig seine Erkenntnisse und Einsichten mit uns, die er im Laufe seiner Karierre als Data Scientist bei Pinterest, Twitter und AWS (Amazon) gesammelt hat. Douglas arbeitet unter anderem gerade daran COVID-19 Ausbrüche mit Machine Learning Modellen vorhersagen.
Douglas’s Hintergrund
Douglas kam auf einem eher ungewöhnlichen Weg zu Data Science. Obwohl während seiner Kindheit Computer immer zum Haushalt gehörten, hielt er sie für eher langweilig und erklärte seiner Familie ganz klar, dass er niemals Informatik studieren würde.
Stattdessen ging Douglas an die USC (University of Southern California) um Regisseur zu werden. Er erkannte jedoch schnell, dass das Studium an der Filmhochschule nicht ganz seinen Vorstellungen entsprach und begann stattdessen, sich mit klassischer Gitarre auseinanderzusetzen. Von dort entdeckte er durch Zufall eine Leidenschaft für die theoretische Physik, die ihn stark faszinierte (und im Vergleich zum Gitarrespielen eindeutig bessere Berufsaussichten versprach) - und schloss einen PhD in theoretische Physik in Harvard ab.
Nicht viel später fing Douglas an, sich für für Data Science zu interessieren und arbeitete sich immer weiter nach oben, bis er Entwicklungs- und Data Science Teams bei Twitter, Pinterest und AWS leitete. Die Arbeit in dieser Branche beschreibt er wie das Gefühl, in einem Science-Fiction-Film zu leben.
“Wenn ich an solchen Dingen arbeite, fühle ich mich wie Dr. Strange - als befände ich mich im Multiversum. Man führt ein Leben wie in einem Paralleluniversum von Rick and Morty.”
Aber Douglas gab sich nicht damit zufrieden, sein Fachwissen lediglich zur für große Konzerne einzusetzen und gründete sein eigenes Unternehmen, Koyote Science. Aktuell konzentriert er sich darauf mit COVID-19-Modellen neue Ausbrüchen des Virus vorherzusagen.
Was Douglas über KI Projekte gelernt hat
Douglas' Erfolg war jedoch auch mit einigen Schwierigkeiten verbunden. Er schilderte uns einige der Herausforderungen, die er in den vielen Teams und Projekten, an denen er gearbeitet hat, miterlebt hat.
Lektion 1: Machine Learning sollte Nutzer unterstützen, anstatt Aufgaben komplett zu übernehmen
Bei Twitter arbeitete Douglas an einem Feature mit dem Titel "who to follow". Damit erhalten Twitter-Nutzer personalisierte Empfehlungen, welche Twitter-Accounts für sie interessant sein könnten. Als Data Scientist stellte Douglas fest, dass diese Funktion sehr häufig genutzt wurde. Zunächst schien es großartig - die Leute folgten fast allen, die ihnen empfohlen wurden. Langfristig gesehen jedoch besuchten diejenigen, die diese Funktion nutzten, Twitter immer seltener.
Ihre Feeds waren mit Tweets gefüllt, die durch einen Algorithmus ausgewählt wurden, und nicht mit Tweets von Personen, die sie selbst ausgesucht hatten.
Indem er die Anzahl der "who to follow"-Empfehlungen reduzierte, verbesserte Douglas das langfristige Engagement der Nutzer wieder.
Es ist zwar keine große Neuigkeit, dass sich langfristige und kurzfristige Ziele oft widersprechen, aber Douglas hat hier eine tiefere Einsicht entdeckt. Da Machine Learning Lösungen immer leistungsfähiger werden, ist es oft verlockend, sie zu all umfassend einzusetzen. Dies ist fast immer ein Fehler, erklärt Douglas:
"Mein Ziel ist es, Produkte zu entwickeln, die mit dem Nutzer zusammenarbeiten, anstatt zu versuchen, ihm alle Aufgaben abzunehmen”
Die Art und Weise, wie Künstliche Intelligenz in Science Fiction dargestellt wird - als Intelligenz auf menschlichem Niveau - ist vermutlich daran Schuld, dass Machine Learning teilweise zu stark eingesetzt wird. In den meisten Fällen ist es am besten dazu geeignet, menschliche Handlungen zu ergänzen, anstatt sie zu ersetzen.
Lektion 2: Daten-Pipelines und gutes Engineering sind wichtiger als Mathematik und Algorithmen
Die neuesten Machine Learning Algorithmen bekommen immer viel Aufmerksamkeit. Als erstes gab es Neuronale Netze (NNs), dann Convolutional Neural Networks (CNNs), dann Generative Adversarial Networks (GANs), Transformatoren und noch vieles mehr. Algorithmen sind immer ein spannendes Thema.
Douglas - selbst ein bekennender Mathe-Nerd - hat jedoch festgestellt, dass der Mathematik und den Algorithmen zu viel Bedeutung beigemessen wird. Echter Erfolg hängt vor allem von guten Daten, gutem Engineering und einem Fokus auf das Kundenproblem ab, deshalb sollte man sich nicht in den mathematischen Details verlieren:
“Es kommt nur sehr, sehr selten vor, dass der Algorithmus den entscheidenden Unterschied macht. Es ist fast immer die Datenpipeline. Bei meiner Arbeit konnte ich mit Daten Pipelines die Fehlerrate um 90% reduzieren, mit besseren Algorithmen hingegen nur etwa 75%. Und trotzdem möchte jeder mit mir über den Algorithmus sprechen, niemand möchte etwas über Daten Pipelines wissen.”
Wir verwenden Metaphern, die Machine Learning Algorithmen mit Neurowissenschaftlern und Daten Pipelines mit Rohrleitungen in Verbindung bringen - es ist also kaum überraschend, welche davon die größere Aufmerksamkeit auf sich ziehen. Douglas verzeichnete seinen Erfolg vor allem dadurch, dass er sich auf die weniger glamourösen Aspekte von Machine Learning Lösungen konzentrierte. In den meisten Fällen ist die Entscheidung, welche Daten verwendet und wie sie dem Algorithmus dargestellt werden wichtiger als der Algorithmus selbst.
Sich auf die Ziele des Kunden konzentrieren
Viele "KI-Startups" berichten heutzutage mehr über die Lösungen, die sie anbieten, als über die Probleme, die sie lösen. Douglas ist jedoch überzeugt, dass es viel wichtiger ist, sich eingehend mit dem eigentlichen Kundenprobleme auseinanderzusetzen. Manchmal hat dies zur Folge, dass er sich von den spannenderen, theoretischen Aspekten des Machine Learning abwenden muss:
“Als Mathematiker liebe ich alle Nuancen der Mathematik und verliere mich schnell darin. Es gibt aber nunmal unendlich viel Mathematik zu lernen. Es ist nicht realistisch, dass ich mich in meinem Zimmer einschließe und die gesamte Mathematik dahinter lerne, bevor ich mich auf die eigentlichen Kundenziele konzentriere.”
Die Wahrheit, die viele Data Scientists nicht hören wollen, lautet, dass es bei erfolgreichen Machine Learning Lösungen normalerweise nicht darum geht, etwas Neues, Mächtiges oder Aufregendes zu schaffen. Es geht vielmehr darum, Probleme aus dem richtigen Blickwinkel anzugehen und bewährte Ansätze einzusetzen.
Douglas hat selbst viele erfolgreiche Machine Learning Lösungen entwickelt und Teams von Softwareentwicklern geleitet. Er bleibt jedoch bescheiden, was seine Fähigkeiten als Entwickler betrifft und betont die Bedeutung solider Software.
“Bei Amazon habe ich die Entwickler so viel wie möglich machen lassen, weil sie in Softwareentwicklung besser sind als ich. Ich würde gerne eine andere Antwort geben, aber Entwickler sind effizient, sorgfältig, kennen die Strukturen und wissen über Umsetzungs Details besser Bescheid.”
Es läuft jedoch auch nicht immer alles glatt. Douglas verweist auf die Schwierigkeiten, die entstehen, wenn verschiedene Experten im Team miteinander arbeiten. Dies kann besonders dann problematisch werden, wenn technisch versierte Teammitglieder feste Meinungen zu kleinsten Engineering Details haben.
Als besten Weg, um alle auf eine gemeinsame Nenner zu bringen, nennt er die regelmäßige Minimal Viable Products (MVPs) zu releasen, was uns zu unserer nächsten Lektion bringt.
Lesson 3: Regelmässig Minimum Viable Products (MVPs) entwickeln
Douglas schwört auf MVPs, die die zentralen Bestandteile einer Lösung demonstrieren, auch wenn viele der Funktionen noch fehlen. Bei der Entwicklung einer Machine Learning Lösung versucht er, wöchentlich einen neuen MVP zu entwickeln.
Er verwendet diese um:
- Fallen zu vermeiden: Wenn ein Projekt zu lange dauert, kann die Tatsache, dass selbst die Entwicklung eines MVP sehr schwierig ist, als Argument dafür dienen, dass das Projekt vorzeitig abgebrochen werden sollte:
“Wenn fortlaufend MVPs entwickle, aber die Ziele nie erreiche, gibt mir das Aufschluss darüber, dass das Problem deutlich schwieriger ist als gedacht.”
- Zu kommunizieren: Sowohl technische als auch nichttechnische Fachleute neigen dazu, Dinge, die sie sehen und benutzen können, besser zu verstehen als abstrakte Ideen.
“Reaktionen auf ein abstraktes Konzept sind oft völlig anders als Reaktionen auf eine konkrete Umsetzung. Deshalb entwickle ich immer MVPs. So können Fachleute, die das Projekt aus eine höheren Flughöhe begleiten, ein Gefühl für die aktuelle Lösung entwickeln und mir dann hilfreiches Feedback geben.”
Es ist offensichtlich besser, nur zwei Wochen statt zwei Monate Arbeit vergeuden zu müssen, und MVPs können dabei eine große Hilfe sein.
MVPs haben auch noch weitere Vorteile. Durch die Veröffentlichung abgespeckter Versionen einer Lösung stellt Douglas oft fest, dass weniger manchmal mehr ist.
“Was man am Ende liefert, ist oft viel einfacher als das, was man ursprünglich geplant hatte. Aber es ist sorgfältig durchdacht.”
Natürlich sind Kunden manchmal unzufrieden, wenn sich herausstellt, dass die beste Lösung die simpelste war. Douglas vergleicht die Entwicklung von Machine Learning Lösungen mit dem Schaffen von Kunst: Es geht um die Zeit, die in die Entwicklung geflossen ist, nicht um den Aufwand, der für das Endprodukt erforderlich ist.
“Es gibt eine berühmte Zen-Geschichte über einen König, der einen Künstler engagiert. Der Künstler arbeitet ein Jahr lang, malt dann aber das eigentliche Bild in nur drei Sekunden. Als sich der König beschwert, erwidert der Künstler: "Oh, ich habe ein Jahr lang versucht, viel schwierigere Werke zu malen.”
MVPs sorgen dafür, dass man auch noch später im Entwicklungsprozess offen für bessere, einfachere Lösungen bleibt. Es ist wichtig, flexibel zu bleiben, sodass man bei Bedarf auf diese besseren Lösungen zurückgreifen kann.
Menschen denken oft, dass etwas kompliziert sein muss, um effektiv zu sein, aber in Wirklichkeit ist oft das Gegenteil der Fall.
Lektion 4: Kontrolle und Präzision sind wichtiger als Größe und Leistung
Große Machine Learning Modelle, wie z.B. GPT-3, sind faszinierend und machen oft Schlagzeilen. Aber Douglas vergleicht große Modelle mit den frühen (gescheiterten) Versuchen, Flugzeuge zu bauen. Diese Flugzeuge traten gegen das berühmte, erprobte Flugzeug der Wright Brüder an. Worin lag der Unterschied? Die Wright Brüder konzentrierten sich auf Kontrolle, während ihre Konkurrenten auf Größe und Stärke abzielten.
“Das Geniale an dem, was die Wright Brüder gemacht haben, war, dass sie sich nicht für größere Motoren entschieden haben. Sie waren Fahrradmechaniker. Sie benutzten nicht einmal starke Motoren. Stattdessen konzentrierten sie sich auf Kontrolle.”
Das lässt sich mit Machine Learning Modellen vergleichen:
“Man kann ein großes Modell bauen, das zu ganz vielen Dingen fähig ist. Aber dann fragen die Leute natürlich, ‘Wie soll ich das interpretieren?’ ‘Wie kann ich es kontrollieren?’ ‘Wie stelle ich sicher, dass mein Modell nicht aus der Bahn gerät?”
Große Machine-Learning-Modelle sind zwar oft leistungsfähiger, doch solange sie keine echten Probleme lösen, sind sie unbrauchbar. Wenn ein Modell großartige Ergebnisse liefert, diese jedoch nur unberechenbar und sporadisch, bringt es nichts. Wenn ein Modell genaue Ergebnisse liefert, wir aber nicht verstehen, warum und daher nicht sicher sein können, dass die Ergebnisse immer stimmen, ist es auch nicht nützlich.
Stattdessen sind kleinere, einfachere und vermutlich weniger leistungsfähige Modelle, die mehr Interpretierbarkeit und Konsistenz bieten, in fast allen Fällen wertvoller. Genau wie beim Fliegen müssen wir in der Lage sein zu steuern und zu landen, nicht nur schnell zu fliegen.
Machine Learning-Projekte erfolgreich umsetzen
Douglas hat in unserer Unterhaltung sehr viele, sehr lehrreiche Lektionen besprochen. Dies waren seine wichtigsten Regeln für erfolgreiche Machine Learning Lösungen:
- Machine Learning sollte zur Unterstützung eingesetzt werden: Nicht übers Ziel hinausschießen und versuchen, dem Nutzer alles abzunehmen.
- Am besten konzentriert man sich auf das Problem, die Daten und die Technik und weniger auf Mathematik und neuste Algorithmen.
- Man sollte mehr Wert darauf legen, die Kontrolle über die entwickelte Lösung zu behalten, anstatt sie so ambitioniert und umfangreich wie möglich zu gestalten.
- Es empfiehlt sich, regelmäßig MVPs entwickeln. Auch wenn sie noch nicht über alle Funktionen verfügen, sind enge Feedback-Schleifen hier noch wichtiger als im Software-Engineering.
Douglas hat viele Punkte angesprochen die wir genauso sehen und in unseren Projekten umsetzen. Wenn Du selbst gerade neue Lösungen mit Machine Learning planst und Unterstützung benötigst, melde dich gern bei uns.
