Projektbeschreibung
Die Herausforderung
Die Aufgabe war nicht "was ist das für ein Objekt", sondern die Feinunterscheidung visuell nahezu identischer Objekte in einem sehr großen Katalog. Genau daran scheitern generische KI-Modelle: Ein zugekauftes Embedding-Modell lieferte durchweg gesättigte Ähnlichkeitswerte und bewertete in kritischen Fällen sogar die falsche Zuordnung höher als die richtige. Das Ergebnis war kein brauchbares Vertrauenssignal. Die Kernthese: Genau die Domänen-Agnostik, die ein generisches Modell robust macht, verhindert die scharfe Trennung fast identischer Varianten.
Unser Ansatz
Wir haben ein selbstüberwacht vortrainiertes Bild-Backbone eingefroren und ihm einen schlanken, selbst trainierten Kopf aufgesetzt (Metric Learning mit angularer Margin). Statt das große Modell komplett neu zu trainieren, lernt nur der Kopf die feine Unterscheidungsstruktur der Domäne. Das Ergebnis ist ein kompakter Vektor pro Bild, in dem per Vektordatenbank (PostgreSQL mit pgvector, HNSW) gesucht wird.
Warum das schlank bleibt
- Effiziente Iteration: Das Training des Kopfes dauert nur Sekunden - teuer ist einzig die einmalige Merkmalsextraktion. Das erlaubt sehr schnelle Experimentierzyklen.
- Ohne GPU-Budget: Betrieb komplett auf CPU mit wenig Arbeitsspeicher - keine stehende Grafikkarte nötig.
- On premise: Läuft im EU-Stack, die Bilder verlassen die eigene Infrastruktur nicht.
- Kein teures Labeling: Die Trainingslabels stammen aus vorhandenen Metadaten.
Das Ergebnis
Der trainierte Kopf steigert die Trefferquote deutlich gegenüber der generischen Baseline. Der stärkste Befund: Auch auf Objektklassen, die im Training nie vorkamen, verbessert sich die Zuordnung signifikant. Der Kopf lernt also keine Beispiele auswendig, sondern echte Unterscheidungsstruktur - er trägt genau dort, wo die generische Lösung scheiterte.
Was wir ehrlich gemessen und verworfen haben
Zur Substanz gehört, was nicht funktioniert hat. Systematisch getestet und verworfen: ein Kopf für mehrere Merkmale gleichzeitig, aufwändiges Hard-Example-Mining, das Zusammenführen zweier Modelle, ein kleines Sprachmodell als Nachsortierer - und vor allem mehr Trainingsdaten, die die Qualität nicht hoben. Eine höhere Bildauflösung brachte kaum Gewinn bei vielfachem Rechenaufwand und wurde bewusst verworfen.
Der größte Einzelsprung des Projekts war kein neues Modell, sondern die Korrektur eines Kalibrierungsfehlers: Eine Schwelle stand noch auf der Skala des Vorgängermodells, wodurch ein Großteil der Konsens-Entscheidungen abbrach. Und wir haben Messdisziplin gehalten - weil Einzelläufe auf identischem Testset schwankten, wurden Verbesserungen über mehrere Läufe gemittelt, statt Rauschen als Erfolg zu verbuchen.
Der ehrliche Zielkonflikt
Spezialisierung erkauft Schärfe mit Domänen-Empfindlichkeit: Auf fremdartigen Aufnahmen fällt die Trennschärfe des Modells ab. Das ist kein Mangel, sondern die bewusste Konsequenz eines Modells, das für genau eine Aufgabe optimiert wurde.
Leistungsumfang
- Domänenspezifisches Fine-Tuning auf eingefrorenem Vision-Backbone
- Metric Learning für die Feinunterscheidung nahezu identischer Objekte
- Deutlich höhere Trefferquote als generische Embedding-Modelle
- Trägt auch auf im Training nie gesehene Objektklassen
- CPU-Inferenz, kein GPU-Betrieb nötig
- On premise im EU-Stack - Bilder verlassen die Infrastruktur nicht
- Vektorsuche über pgvector und HNSW
- Trainingslabels aus vorhandenen Metadaten, kein teures manuelles Labeling
- Diszipliniertes Messvorgehen mit klaren GO/NO-GO-Kriterien
Herausforderung
Nahezu identische Objekte in einem sehr großen Katalog zuverlässig auseinanderhalten. Generische KI-Modelle sind hier unterscheidungsblind: Sie liefern gesättigte Ähnlichkeitswerte und bewerten in kritischen Fällen die falsche Zuordnung höher als die richtige. Genau die Domänen-Agnostik, die ein zugekauftes Modell robust macht, verhindert die scharfe Trennung fast identischer Varianten - und damit ein belastbares Vertrauenssignal für die automatische Zuordnung.
Lösung
Ein selbstüberwacht vortrainiertes Bild-Backbone wird eingefroren und um einen schlanken, selbst trainierten Kopf ergänzt (Metric Learning mit angularer Margin). Nur der Kopf lernt die feine Unterscheidungsstruktur der Domäne; die Trainingslabels stammen aus vorhandenen Metadaten. Pro Bild entsteht ein kompakter Vektor, in dem per Vektordatenbank (pgvector, HNSW) gesucht wird. Das Training des Kopfes dauert nur Sekunden, der Betrieb läuft vollständig auf CPU und on premise im EU-Stack - ohne GPU-Budget und ohne dass Bilder die eigene Infrastruktur verlassen.
Ergebnisse
Die Trefferquote steigt deutlich gegenüber der generischen Baseline - besonders wertvoll: auch auf Objektklassen, die im Training nie vorkamen, verbessert sich die Zuordnung signifikant. Der Kopf lernt echte Unterscheidungsstruktur statt Beispiele auswendig. Ehrlich benannt: mehrere naheliegende Erweiterungen (mehr Trainingsdaten, Modell-Fusion, ein nachgeschaltetes Sprachmodell) wurden systematisch getestet und verworfen; der größte Einzelsprung war die Korrektur eines Kalibrierungsfehlers, nicht ein neues Modell. Die Spezialisierung erkauft ihre Schärfe mit Domänen-Empfindlichkeit auf fremdartigen Aufnahmen - eine bewusste, benannte Abwägung.
Bereit für Ihr Projekt?
Lassen Sie uns gemeinsam Ihre digitale Vision verwirklichen.