Auf einen Blick: Verwirrungsmatrizen sind für die Bewertung von Machine-Learning-Modellen unerlässlich und heben die Konzepte von Präzision und Abruf hervor. Sie stellen die Vorhersageleistung visuell dar und zeigen in Klassifikationen falsch-positive und falsch-negative Ergebnisse an.
- Präzision misst die Genauigkeit positiver Vorhersagen.
- Recall bewertet die Fähigkeit des Modells, alle relevanten Instanzen zu erfassen.
Du hast also ein Machine-Learning-Modell gebaut. Super. Du gibst ihm deine Eingaben und es liefert dir eine Ausgabe. Manchmal ist die Ausgabe richtig, manchmal falsch. Du weißt, dass das Modell etwa 86 % Genauigkeit vorhersagt, weil die Vorhersagen in deinem Trainingstest das gesagt haben. Aber 86 % ist keine ausreichende Genauigkeitsmetrik. Damit entdeckst du nur die Hälfte der Geschichte. Manchmal vermittelt das einen völlig falschen Eindruck. Präzision, Abruf und eine Verwirrungsmatrix... Das ist sicherer. Schauen wir uns das mal an.
Was ist eine Verwirrungsmatrix?
Sowohl Präzision als auch Abruf können aus der Verwirrungsmatrix interpretiert werden, daher beginnen wir dort. Die Verwirrungsmatrix wird verwendet, um anzuzeigen, wie gut ein Modell seine Vorhersagen gemacht hat.
Binärklassifikation
Schauen wir uns ein Beispiel an: Ein Modell wird verwendet, um vorherzusagen, ob ein Fahrer an einer Ampel nach links oder rechts abbiegen wird. Das ist eine binäre Klassifikation. Sie kann bei jeder Vorhersageaufgabe funktionieren, die eine Ja-oder-Nein-oder wahr-oder-falsch-Unterscheidung macht. Der Zweck der Verwirrungsmatrix ist es, zu zeigen, wie... nun ja, wie verwirrt das Modell ist. Dazu führen wir zwei Konzepte ein: Falsch-Positive und Falsch-Negative.
- Wenn das Modell das positive (links) und das negative (rechts) vorhersagt, dann sagt das falsch-positive Signal links voraus, wenn die tatsächliche Richtung rechts ist.
- Ein falsches Negativ wirkt in die entgegengesetzte Richtung; das Modell sagt rechts voraus, aber das tatsächliche Ergebnis ist links.
Mit Hilfe einer Verwirrungsmatrix können diese Zahlen im Diagramm wie folgt dargestellt werden:
In dieser Verwirrungsmatrix werden insgesamt 19 Vorhersagen gemacht. 14 sind korrekt und 5 falsch.
- Die Falsch-Negativ-Zelle, Nummer 3, bedeutet, dass das Modell ein negatives Ergebnis vorhergesagt hat und das tatsächliche Ergebnis ein positives Ergebnis war.
- Die Falsch-Positiv-Zelle, Nummer 2, bedeutet, dass das Modell ein positives Ergebnis vorhergesagt hat, aber tatsächlich negativ.
Das Falsch-Positive bedeutet zu diesem Zeitpunkt wenig für die Richtung, die eine Person wählt. Aber wenn man der Wahl ein paar Einsätze hinzufügt, zum Beispiel dass die richtige Wahl zu einer riesigen Belohnung führte und die falsche Wahl den sicheren Tod bedeutete, dann gibt es jetzt auch eine Beteiligung an der Entscheidung, und ein falsch-negatives Ergebnis könnte sehr kostspielig sein. Wir würden nur wollen, dass das Modell die Entscheidung trifft, wenn es zu 100 % sicher ist, dass das die Entscheidung ist.
Kosten/Nutzen der Verwirrung
Das Abwägen von Kosten und Nutzen von Entscheidungen verleiht der Verwirrungsmatrix Bedeutung. Der Instagram-Algorithmus muss einen Nacktheitsfilter auf alle geposteten Bilder legen, daher wird ein Aktfoto-Klassifikator erstellt, um jegliche Nacktheit zu erkennen. Wenn ein Nacktfoto gepostet wird und den Filter passiert, könnte das für Instagram sehr kostspielig werden. Deshalb werden sie versuchen, mehr Dinge zu klassifizieren, als nötig ist, um jedes Nacktfoto zu filtern, weil die Kosten für das Scheitern so hoch sind.
Nicht-binäre Klassifikation
Schließlich gelten Verwirrungsmatrizen nicht nur für einen binären Klassifikator. Sie können auf beliebig viele Kategorien verwendet werden, die ein Modell benötigt, und dieselben Analyseregeln gelten. Zum Beispiel kann eine Matrix erstellt werden, um die Einschätzungen der Demokratischen Nationaldebatte durch Menschen zu klassifizieren:
- Sehr arm
- Armes
- Neutral
- Gut
- Sehr gut
Alle Vorhersagen, die das Modell macht, können in eine Verwirrungsmatrix eingeordnet werden:
Präzision in der Verwirrungsmatrix
Präzision ist das Verhältnis von echten positiven Ergebnissen zur Gesamtzahl der wahren positiven und falsch-positiven Ergebnisse. Präzision untersucht, wie viele schlechte positive Ergebnisse in die Mischung geworfen wurden. Wenn es keine schlechten positiven Ergebnisse gibt (diese FPs), hatte das Modell 100 % Präzision. Je mehr FPs in die Mischung kommen, desto hässlicher wird diese Präzision aussehen. Um die Genauigkeit eines Modells zu berechnen, brauchen wir die positiven und negativen Zahlen aus der Verwirrungsmatrix.
Präzision = TP/(TP + FP)
Abruf in der Verwirrungsmatrix
Recall geht einen anderen Weg. Anstatt die Anzahl der Fehlalarme zu betrachten, die das Modell vorhergesagt hat, betrachtet Recall die Anzahl der falsch negativen Ergebnisse , die in die Vorhersagemischung eingebracht wurden.
Rückruf = TP/(TP + FN)
Die Abrufrate wird bestraft, wenn ein falsch negatives Ergebnis vorhergesagt wird. Da die Strafen bei Präzision und Abruf gegensätzlich sind, gilt das auch für die Gleichungen selbst. Präzision und Abruf sind das Yin und Yang der Bewertung der Verwirrungsmatrix.
Rückruf vs. Präzision: das eine oder das andere?
Wie bereits zu sehen, möchte ein Modell beim Verständnis der Verwirrungsmatrix manchmal zulassen, dass mehr falsch negative Ergebnisse durchgehen. Das würde zu einer höheren Präzision führen, weil falsch negative Ergebnisse die Rückrufgleichung nicht bestrafen. (Dort sind sie eine Tugend.) Manchmal möchte ein Modell mehr falsch-positive durchgehen lassen, was zu höherer Abrufquote führt, weil falsch-positive nicht berücksichtigt werden. Im Allgemeinen kann ein Modell nicht sowohl hohe Wiedergabe als auch hohe Präzision haben. Es sind Kosten verbunden, höhere Punkte bei der Erinnerung oder Präzision zu erzielen. Ein Modell kann einen Gleichgewichtspunkt haben, an dem die beiden Genauigkeit und der Rückruf gleich sind, aber wenn das Modell angepasst wird, um seine Genauigkeit um einige Prozentpunkte zu erhöhen, sinkt das wahrscheinlich die Rückrufrate.
Zusätzliche Ressourcen
Erfahren Sie mehr über maschinelles Lernen mit diesen Ressourcen:
- BMC Machine Learning & Big Data Blog
- Maschinelles Lernen: Hype vs. Realität
- Interpretierbarkeit vs. Erklärbarkeit: Die Black Box des maschinellen Lernens
- Maschinelles Lernen mit TensorFlow & Keras, ein praktischer Leitfaden
- Dieses großartige Colab-Notizbuch demonstriert im Code Verwirrungsmatrizen, Präzision und Abruf
Für ein mathematisches Verständnis von Präzision und Erinnerung sehen Sie sich dieses Video an:
Für einen humorvolleren Blick auf Verwirrungsmatrizen:
Diese Beiträge sind meine eigenen und spiegeln nicht unbedingt die Position, Strategien oder Meinung von BMC wider.