Was ist der Unterschied zwischen maschinellem Lernen und Deep Learning?

Was ist Machine Learning?

Maschinelles Lernen funktioniert, indem ein Computer Muster aus Daten lernt und diese Muster dann verwendet, um Vorhersagen oder Entscheidungen zu treffen. Es verbessert sich mit Erfahrung ohne explizite Programmierung. Daten sind der Treibstoff für ML. Es startet mit einem Problem oder einer Frage, die das System beantworten soll, und verwendet die gesammelten und normalisierten Daten in einem Modell (ein Algorithmus, der Eingaben auf Ausgaben abbildet). Jedes Modell hat Parameter, die aus Daten gelernt werden, und Hyperparameter, die von Menschen gewählt werden.

Gängige ML-Modelle sind unter anderem:

• Lineare Regression: ML-Algorithmen, die die Beziehung zwischen einer abhängigen Variable (was Sie vorhersagen möchten) und einer oder mehreren unabhängigen Variablen (Eingaben) modellieren, indem eine gerade Linie (oder Hyperebene) an die Daten angepasst wird. Dieses Modell lernt, indem es Vorhersagen ohne Anfangskoeffizienten macht, den Fehler zwischen Vorhersagen und tatsächlichen Werten misst und die Koeffizienten anpasst, um die Fehler zu minimieren.
• Entscheidungsbaum: Eine Klasse von ML-Algorithmen, die Vorhersagen treffen, indem sie eine Reihe von Wenn-dann-Regeln aus Daten lernen und die Daten dann basierend auf Merkmalswerten in Zweige aufteilen, wodurch eine baumartige Struktur entsteht. Jede Frage ist ein Entscheidungsknoten, und jede Antwort führt einen branch entlang, bis ein Blattknoten die endgültige Vorhersage liefert.
• Random Forest: Ein Modell, das eine Sammlung von Entscheidungsbäumen kombiniert, um genauere und stabilere Vorhersagen zu treffen. Jeder Baum wird mit einer anderen Datenstichprobe trainiert, und die endgültige Vorhersage ist ein Durchschnitt oder eine Mehrheitsentscheidung über die beste Ausgabe.
• Support Vector Machines (SVMs): Eine Klasse von ML-Modellen, die für Klassifizierung und Regression verwendet werden und die beste Grenze finden, die Datenpunkte in verschiedene Klassen trennt.

Machine-Learning-Modelle lernen Muster effektiver mit Feature-Engineering, einem Prozess, bei dem Rohdaten in nützliche Signale für ein Modell transformiert werden. Ein Feature ist eine Eingabevariable (numerisch, kategorial, Datum/Uhrzeit, Text), die von einem Modell verwendet wird. Gute Features können die Genauigkeit und die Interpretierbarkeit verbessern und die Trainingszeit reduzieren.

Die vier Arten des Machine Learnings

• Überwachtes Lernen: Ein Ansatz des maschinellen Lernens, bei dem ein Modell mithilfe von mit Label versehenen Daten (Daten, die sowohl die Eingabemerkmale als auch die korrekte Ausgabe enthalten) trainiert wird. Dem Modell werden Beispiele gezeigt und die richtige Antwort mitgeteilt, um ein Mapping zu lernen. Gängige Tasks des überwachten Lernens umfassen die Klassifizierung (Spam vs. kein Spam oder Vorhandensein einer Krankheit) oder die Regression (Preisvorhersage, Vertriebsprognosen).
• Unüberwachtes Lernen: Maschinelles Lernen, bei dem ein Modell Muster aus ungelabelten Daten findet und lernt, die keine vordefinierte Antwort haben. Es kann Muster finden, indem es ähnliche Datenpunkte gruppiert, die Anzahl der Features reduziert, anomale oder seltene Datenpunkte findet oder Beziehungen zwischen Variablen aufdeckt. Beispiele aus der Praxis sind Kundensegmentierung und Anomalieerkennung.
• Teilüberwachtes Lernen: Ein Ansatz des maschinellen Lernens, der eine kleine Menge gelabelter Daten zusammen mit einer großen Menge ungelabelter Daten verwendet, um ein Modell zu trainieren. Die gelabelten Daten verankern den Lernprozess, während die ungelabelten Daten helfen, die Entscheidungsgrenze zu verfeinern. Dieser Ansatz wird häufig für die Bildklassifizierung, medizinische Diagnosen und die Spracherkennung verwendet.
• Reinforcement Learning: Maschinelles Lernen nach dem Versuch-und-Irrtum-Prinzip, bei dem ein Agent durch Interaktion mit einer Umgebung lernt, indem er Aktionen ausführt und Belohnungen oder Bestrafungen erhält – anstatt aus gekennzeichneten Beispielen zu lernen (z. B. bei Spielen, in der Robotik).

Was ist Deep Learning?

Deep Learning ist ein ML-Ansatz, der mehrschichtige künstliche neuronale Netze verwendet, um automatisch komplexe Muster aus großen Datenmengen zu lernen. Sie werden neuronale Netze genannt, weil sie die Neuronenstruktur des menschlichen Gehirns nachahmen. Es ist einer der leistungsstärksten Ansätze zur Entwicklung von KI-Systemen.

Beim Deep Learning entwerfen Menschen die zu lernenden Features nicht selbst, sondern die Modelle lernen Repräsentationen mithilfe vieler Schichten neuronaler Netze direkt aus Rohdaten. Die Schichten bilden eine Hierarchie von Features und umfassen eine Eingabeschicht, mehrere verdeckte Schichten und eine Ausgabeschicht. Jede Schicht wendet Gewichtungen an, fügt einen Bias hinzu und durchläuft eine nichtlineare Aktivierung.

Gängige Arten von neuronalen Netzen

• Feedforward-Netzwerke: Dies sind die einfachsten neuronalen Netzwerke und stellen die grundlegende Architektur für neuronale Netzwerke dar. Daten fließen in eine Richtung von den Eingabe- über die verborgenen bis zu den Ausgabeschichten, daher eignen sie sich am besten für strukturierte Daten, Regression und Klassifizierung.
• Convolutional neuronale Netze (CNNs): Netzwerke, die auf gitterartige Daten spezialisiert sind. Sie verwenden Faltungsfilter, um Muster wie Kanten und Formen zu erkennen. Sie eignen sich am besten für die Bilderkennung und Tasks im Bereich Computer Vision.
• Rekurrente Neuronale Netze (RNNs): Netzwerke mit Rückkopplungsschleifen, die einen verborgenen Zustand beibehalten und für sequenzielle Daten wie Textgenerierung, Spracherkennung und Zeitreihenprognose konzipiert sind.
• Generative Adversarial Networks (GANs): Werden verwendet, um neue realistische Daten zu generieren, indem zwei neuronale Netze trainiert werden, die miteinander konkurrieren. Ein Netzwerk erstellt gefälschte Daten und das andere versucht, sie zu erkennen, sodass sich beide durch den Wettbewerb verbessern. Beispiele hierfür sind die Bild-, Audio- und Videogenerierung.

Gemeinsamkeiten von Machine Learning und Deep Learning

Sowohl ML als auch DL fallen unter den Oberbegriff KI und sind eng miteinander verbunden, da Deep Learning ein Teilbereich des maschinellen Lernens ist. Sie haben viele grundlegende Prinzipien, Workflows und Ziele gemeinsam. Beide lernen Muster aus Daten und zielen darauf ab, Vorhersagen oder Entscheidungen zu treffen, die auf diesen Daten basieren.

Beide lernen aus Daten und können ihre Performance in einem iterativen Lernprozess verbessern, wenn sie mehr Daten verarbeiten. Und beide können von diesen Daten auf neue, bisher ungesehene Daten generalisieren. Sowohl ML als auch DL erfordern ein Training mit Historische Daten, eine Validierung zur Parameterabstimmung und Tests mit ungesehenen Daten.

Und beide können auf Klassifizierungs-, Regressions- und Clustering-Probleme angewendet werden.

Datenanforderungen und Feature Engineering

Obwohl maschinelles Lernen und Deep Learning viele Ähnlichkeiten aufweisen, haben sie unterschiedliche Datenanforderungen und einen unterschiedlichen Aufwand für das Feature-Engineering. ML funktioniert oft gut mit kleinen bis mittelgroßen strukturierten Datasets, aber die Performance hängt von der Qualität der Features ab, die ein von Menschen geleitetes Feature-Engineering erfordert, um relevante Variablen zu identifizieren.

DL ist von großen Mengen unstrukturierter Daten (Bilder, Text, Audio) abhängig und die Scale der Beispiele wirkt sich direkt auf die Performance aus, da DL eine automatische Feature-Extraktion mit minimalem menschlichen Eingriff durchführt.

Domänenwissen und Feature-Qualität sind bei ML essenziell, während Modelle bei DL Features intern lernen, sodass Daten-Scale und Infrastruktur wichtiger werden.

Rechenleistung und Trainingszeit

Es ist nützlich, die Compute-Anforderungen und die Trainingszeit für ML und DL zu vergleichen, da dies die Faktoren sind, die die Kosten, die Iterationsgeschwindigkeit und die Produktmachbarkeit Ihrer Systeme am meisten beeinflussen. Herkömmliche ML-Modelle können auf Standard-CPUs mit weniger Arbeitsspeicher ausgeführt werden, während DL für ein effizientes Training GPUs oder TPUs mit hohem Arbeitsspeicher erfordert, sodass die Infrastrukturkosten bei DL höher sind.

ML-Modelle lassen sich für schnelle Iterationen und Experimente zügig trainieren, während DL-Modelle aufgrund komplexer, mehrschichtiger Architekturen längere Trainingszeiten erfordern. Daher sind Trainingskosten, Infrastruktur, Energie und Komplexität bei DL höher, aber ML ist für sehr große Probleme möglicherweise nicht leistungsfähig genug.

Interpretierbarkeit und Transparenz

Weitere Faktoren, die beim Vergleich von machine learning und Deep Learning zu berücksichtigen sind, sind die Interpretierbarkeit (wie leicht ein Mensch verstehen kann, warum ein Modell eine Vorhersage getroffen hat) und die Transparenz (wie sichtbar und erklärbar die interne Logik und der Entscheidungsprozess des Modells sind).

ML-Modelle sind so konzipiert, dass sie transparent und oft besser interpretierbar sind. Sie zeigen die Wichtigkeit von Features auf und ermöglichen eine schrittweise Nachvollziehbarkeit. Zum Beispiel: Die Wenn-dann-Regeln von Entscheidungsbäumen sind für Menschen lesbar, Koeffizienten der linearen Regression zeigen den direkten Einfluss von Features und die Odds Ratios der linearen Regression erläutern den Einfluss.

DL-Modelle verhalten sich hinsichtlich der Transparenz eher wie "Black Boxes". Sie verlassen sich nicht auf explizite Regeln oder von Menschen entworfene Features. Sie enthalten Millionen von Parametern und lernen hierarchische, verteilte Repräsentationen, was es schwierig macht zu verstehen, welche Features eine Vorhersage verursachen.

Interpretierbarkeit ist für Audits wichtig und in regulierten Branchen wie dem Gesundheits-, Finanz- und Rechtswesen von entscheidender Bedeutung, da hier routinemäßig folgenschwere Entscheidungen getroffen werden und Vertrauen unerlässlich ist.

Wann Machine Learning eingesetzt werden sollte

Als allgemeine Richtlinie gilt, ML dann einzusetzen, wenn ein klar definiertes Problem Datenmuster aufweist, die sich mit festen Regeln nur schwer definieren lassen, bei dem aber Deep Learning unnötig oder ineffizient wäre. ML ist gut geeignet, wenn die Daten strukturiert sind und das Dataset klein bis mittelgroß ist, wie bei Geschäftsdaten (Vertriebsprognosen, Finanzmetriken, Kundendatensätze).

ML ist effektiv, wenn das Compute-Budget begrenzt ist und eine schnelle Iteration wichtig ist (Betrugserkennung, Kreditwürdigkeitsprüfung), sowie für Anwendungen, bei denen Interpretierbarkeit und Erklärbarkeit erforderlich sind (Finanzen, Gesundheitswesen, Versicherung, Recht).

Wann Deep Learning einsetzen

DL kann bei Problemen mit komplexen Mustern in großen Mengen an vielfältigen, unstrukturierten Daten hervorragende Ergebnisse erzielen, wenn GPUs/TPUs und die nötige Zeit dafür vorhanden sind. DL eignet sich am besten für Eingaben, die mit traditionellem ML schwer zu modellieren sind (Bilder, Videos, Audiodaten). DL wird benötigt, wenn das manuelle Feature-Design schwierig oder unmöglich ist, die Rohdaten aber nützliche Signale enthalten. DL ist auch dann geeignet, wenn Genauigkeit wichtiger ist als Interpretierbarkeit und Kosten und das System längere Trainingszyklen tolerieren kann.

DL ist besonders effektiv, wenn Transfer-Lernen von vortrainierten Modellen verfügbar ist (Bild- und Objekterkennung) und das Problem Wahrnehmung oder Sprache betrifft (Computer Vision, Spracherkennung, Verarbeitung natürlicher Sprache, autonome Fahrzeuge und Robotik).

Praxisnahe KI-Beispiele

Ist ChatGPT KI oder ML? Die Antwort ist: Ja!

Denken Sie daran, dass ML und DL beides Arten von KI sind und DL eine Teilmenge von ML ist. Tatsächlich ist ChatGPT ein Deep-Learning-Modell, das mit einem sehr großen neuronalen Transformator-Netzwerk erstellt wurde. GPT (Generative Pre-trained Transformer) besteht aus Millionen bis Milliarden von Parametern und riesigen Mengen an Trainingsdaten.

Beliebte Bilderzeugungssysteme wie DALL-E und Midjourney sind Diffusionsmodelle, die mithilfe von tiefen neuronalen Netzen erstellt wurden, sodass beide in die Kategorie DL fallen. Beide erfordern große Scale Training zur Erstellung von Bildern aus Texteingaben, hohen Rechenaufwand und Repräsentationslernen.

Wenn Netflix oder Spotify Empfehlungen aussprechen, verwenden sie eine Kombination aus traditionellen ML-Modellen und DL-Modellen, die zusammenarbeiten. Diese Systeme analysieren das Nutzerverhalten, Inhaltsattribute und Ähnlichkeiten über beides hinweg, um zu entscheiden, welche Inhalte in welcher Reihenfolge welchen Nutzern angezeigt werden. ML wird für Ranking, Personalisierung und A/B-Tests verwendet. DL wird zur Modellierung des Nutzergeschmacks, zum Verständnis von Inhalten und zum Erlernen von Nutzer-Element-Beziehungen auf Scale verwendet.

Diese Produkte sehen in der KI-Systemhierarchie wie folgt aus:

Künstliche Intelligenz (KI)

 └── Machine Learning (ML)

       └── Modelle für kollaboratives Filtern (Netflix/Spotify)

 └── Deep Learning (DL)

       └── Diffusionsmodelle (DALL·E, Midjourney)

       └── Transformer-Modelle (ChatGPT/GPT, Netflix/Spotify)

Den richtigen Ansatz wählen: Eine Entscheidungs-Checkliste

Datasetgröße:
Klein/strukturiert = ML
Groß/unstrukturiert = DL

Bedarf an Interpretierbarkeit
Hoch = ML
Niedrig = DL ist akzeptabel

Verfügbare Rechenressourcen
Begrenzt = ML
Umfangreich = DL ist möglich

Problemtyp
Tabellarische Daten = ML
Bilder/Text/Audio = DL

Roadmaps für ML vs. DL

Hier ist eine praktische Lern-Roadmap, die mit einigen gemeinsamen Grundlagen beginnt, da DL auf den Grundlagen von ML aufbaut. Denken Sie auch daran, dass Ihr spezifischer Weg von dem zu lösenden Problem und den für Ihr System verfügbaren Ressourcen abhängt.

Gemeinsame Grundlagen:

• Lernen Sie die Grundlagen der Programmierung und Datenvorbereitung wie Python-Grundlagen, NumPy, Polars/pandas und Datenvisualisierung (matplotlib, seaborn)
• Sie sollten die mathematischen Grundlagen wie lineare Algebra, Wahrscheinlichkeitsrechnung, Statistik und Analysis kennen
• Lernen Sie die Grundlagen der Datenverarbeitung wie Datenbereinigung, Feature Engineering, Training, Validierung und Testen

Machine Learning-Pfad:

• Kernkonzepte wie überwachtes vs. unüberwachtes Lernen, Bias-Varianz-Dilemma, Overfitting, Regularisierung und Evaluationsmetriken.
• Fokus auf klassische ML-Modelle (lineare und logistische Regression, Entscheidungsbäume, Random Forests, SVMs).
• Kernbibliotheken (scikit-learn)
• Feature-Engineering, einschließlich der Kodierung kategorialer Variablen, Skalierung und Normalisierung, zeitbasierter Features und Aggregationen.
• Modellabstimmung und Validierungstechniken wie Kreuzvalidierung, Hyperparameter-Tuning, Feature-Auswahl und Fehleranalyse.
• ML-Tasks in der Produktion, einschließlich Modellbereitstellung, Monitoring und Drift-Erkennung, Retraining-Pipelines und Erklärbarkeit.

Deep-Learning-Pfad:

• Grundlagen neuronaler Netze, einschließlich Perzeptron, Aktivierungsfunktionen, Verlustfunktionen, Backpropagation und Optimierung
• DL-Kernarchitekturen mit Schwerpunkt auf Feedforward-Netzwerken, CNNs (Bilder), RNNs/LSTMs/GRUs (Sequenzen) und Transformern (NLP, Vision)
• DL-Frameworks (Pytorch, TensorFlow, Keras)
• Training (GPU-Training, verteiltes Training, gemischte Präzision und Transfer-Learning)

Denken Sie daran, dass DL auf den Grundlagen des ML aufbaut. Beginnen Sie also unabhängig von Ihrem Endziel mit den ML-Grundlagen.

Die richtige Wahl für Ihre Bedürfnisse treffen

Maschinelles Lernen und Deep Learning sind zwei Ansätze zur Verwirklichung von KI, je nach Datenanforderungen, Rechenaufwand, Interpretierbarkeitsanforderungen und Anwendungsfällen.

ML-Anwendungsfälle zeichnen sich durch kleinere, tabellarisch strukturierte Datasets aus. Sie haben oft hohe Anforderungen an die Interpretierbarkeit/Erklärbarkeit und weisen geringere Rechenanforderungen und einen geringeren Zeitaufwand auf.

DL-Anwendungsfälle umfassen komplexe Muster und große Mengen an vielfältigen, unstrukturierten Daten, und die Genauigkeit ist wichtiger als die Interpretierbarkeit. Für das Training von DL-Modellen sind eine viel größere Recheninfrastruktur und ein größerer Zeitaufwand erforderlich.

Die beste Wahl hängt von Ihrem spezifischen Problem und den verfügbaren Ressourcen ab. Wissen Sie, dass sich beide Technologien ständig weiterentwickeln, mit robusteren Modellarchitekturen, die weniger Speicher benötigen, effizienterem Training und besseren Auswertungen und Tests. Es gibt eine wachsende Konvergenz in der KI, bei der ML, DL und Regeln in Hybridsystemen kombiniert werden. Neue Anwendungen sowie regulatorische und Governance-Anforderungen werden ebenfalls beeinflussen, wie Modelle erstellt und angewendet werden.

ML ersetzt DL nicht. Beide entwickeln sich Seite an Seite weiter.