KI und Daten

Sein Nutzen hängt von der Relevanz, der Messqualität, den Berechtigungen und der Abdeckung der beabsichtigten Aufgabe ab. Durch weitere Datensätze werden systematische Fehler oder fehlende Populationen nicht automatisch korrigiert.

Wichtige Erkenntnisse

• Definieren Sie die Einheit eines Beispiels.
• Verwenden Sie nur Informationen, die zum Zeitpunkt der Vorhersage verfügbar sind.
• Verfolgen Sie die Herkunft, das Fehlen und die Untergruppenabdeckung der Daten.

Beginnen Sie damit, zu definieren, was ein Beispiel darstellt. Eine Zeile kann einen Kunden, eine Transaktion, ein Foto oder einen Moment in einer Zeitreihe beschreiben. Diese Einheiten legen fest, wie Duplikate, Beschriftungen und Bewertungsaufteilungen funktionieren sollen. Zehn Messungen von einem Gerät sind nicht unbedingt zehn unabhängige Geräte. Features sind Eingaben, die dem Modell zur Verfügung stehen. Labels sind Zielergebnisse, die beim überwachten Lernen verwendet werden. Überprüfen Sie, wann die einzelnen Funktionen verfügbar sind: Ein Stornierungsgrund, der nach der Abreise eines Kunden erfasst wird, kann die Abreise nicht im Voraus genau vorhersagen. Dies ist eine Form der Leckage, selbst wenn das Feld sehr prädiktiv aussieht. Untersuchen Sie fehlende Werte, Unstimmigkeiten bei Anmerkungen, ungewöhnliche Bereiche und Änderungen in den Erfassungsmethoden. Fehlende Informationen können eine Bedeutung haben; Das Ersetzen jedes fehlenden Werts durch Null kann eine unbekannte Größe mit einer echten Null vermischen. Dokumentieren Sie die Behandlung und testen Sie sie anhand repräsentativer Beispiele. Erfassen Sie Herkunfts- und Zugriffsregeln neben dem Datensatz. Eine öffentliche URL allein begründet nicht die Erlaubnis, jedes Element für jeden Zweck wiederzuverwenden. Sammeln Sie nur die für die Aufgabe erforderlichen Informationen und definieren Sie Aufbewahrungs- und Löschverfahren. Bewerten Sie Gruppen oder Bedingungen separat, bei denen Fehler sonst innerhalb eines Gesamtdurchschnitts verschwinden würden.

1. Stellen Sie sich Datensätze mit Anmeldedatum, monatlicher Nutzung, Kündigungsdatum und Kündigungsgrund vor.
2. Um Stornierungen Anfang Juni vorherzusagen, frieren Sie alle Eingaben zu diesem Datum ein. Entfernen Sie Gründe und Daten, die nach der Vorhersagezeit aufgezeichnet wurden.
3. Trainieren Sie in früheren Perioden und testen Sie in einer späteren, unberührten Phase. Vergleichen Sie die Ergebnisse mit und ohne die durchgesickerten Felder.

Diese hypothetische Entwurfsübung identifiziert eine ungültige Abkürzung, bevor ein schmeichelhaftes Ergebnis zu einer Einsatzentscheidung wird.