Ein KI-Suchprototyp für Mode, der Produktfotos und Beschreibungen kombiniert, liefert nach dem Training mit Shopdaten in 95 statt 70 Prozent der Fälle den gesuchten Artikel unter den ersten fünf Treffern, zitiert Devdiscourse.com eine Studie aus der Fachzeitschrift „AI“. Die Antwortzeit sinke zugleich von 2,5 auf 1,2 Sekunden. Das System verstehe Text oder Bild als Suchanfrage und könne aus Fotos Produkttexte für Händler generieren. Allerdings trete der Prototyp im Labor bislang nur gegen die eigene Vorversion an.
Multimodale Suche für Modeartikel
Ein in der Fachzeitschrift „AI“ vorgestellter Suchprototyp soll Modeartikel im E-Commerce besser auffindbar machen. Das System kombiniert Produktfotos und Beschreibungen, statt Suchanfragen ausschließlich über passende Wörter in Produkttexten abzugleichen. Laut einem Bericht von Devdiscourse.com kann der Prototyp Text- oder Bildanfragen verarbeiten, verwandte Artikel empfehlen und aus Produktfotos automatisch Beschreibungen für Händler erzeugen.
Der Ansatz adressiert ein häufiges Problem im Onlinehandel: Kundinnen und Kunden suchen nach konkreten Details, die in einer Produktbeschreibung fehlen können. Ein Foto enthält diese Information oft bereits. Eine rein textbasierte Suche erkennt sie jedoch nicht zuverlässig. Im Beispiel der Studie geht es etwa um Sneaker mit bestimmten Farben und transparenter Sohle. Der angepasste Prototyp soll solche Merkmale stärker berücksichtigen und die Beschreibung auf kaufrelevante Eigenschaften ausrichten.
Für das Training nutzten Abdulrahman Hassan und sein Team mehr als 250.000 Produktbeispiele mit Bildern, Beschreibungen und Links. Abgedeckt wurden Damen-, Herren- und Kinderbekleidung sowie Accessoires wie Uhren und Taschen. Die Daten stammten aus öffentlichen oder lizenzierten Produktdatenbanken, dem Kaggle-Fashion-Datensatz und ergänzenden Sammlungen von Handelswebsites. Vor dem Training wurden Bilder standardisiert, ungeeignete Datensätze entfernt, Links geprüft und Beschreibungen bereinigt.
Wie Bilder und Wörter zusammengeführt werden
Kern des Systems sind Modelle, die Bild- und Textinformationen miteinander vergleichbar machen. LLaVA wurde darauf angepasst, Produktfotos in handelsnahe Beschreibungen zu übersetzen. Dabei sollte das Modell irrelevante Bildbestandteile ausblenden, etwa Hintergründe oder Dekorationen. Fünf Fragen je Bild halfen im Training, konkrete Produktattribute wie Farben, Form und Materialmerkmale herauszuarbeiten.
Für die eigentliche Suche kommt CLIP zum Einsatz. Das Modell wandelt Bilder und Texte in numerische Repräsentationen um, die semantische Ähnlichkeiten abbilden. So kann eine Suchanfrage zu einem Produktfoto passen, auch wenn der Listing-Text die Formulierung der Käuferin oder des Käufers nicht enthält. Die Repräsentationen werden in ChromaDB gespeichert, einer Datenbank für ähnliche Objekte.
Der Prototyp verbindet Suche, Empfehlungen, automatische Bildbeschriftung und Bildgenerierung in einer Oberfläche. Händler können Fotos hochladen und daraus Produkttexte erstellen lassen, die Artikel besser auffindbar machen könnten. Stable Diffusion erzeugt zusätzlich Bilder aus schriftlichen Ideen. Diese Bilder dienen als Such- oder Kommunikationshilfe, belegen aber nicht, dass das dargestellte Produkt tatsächlich existiert. Die Forschenden weisen darauf hin, dass generierte Bilder erfundene Merkmale enthalten können.
Messbare Fortschritte, begrenzte Aussagekraft
In den Labortests verbesserte sich die Trefferqualität deutlich. Nach der Anpassung an Shopdaten erschien der gesuchte Artikel in 95 statt 70 Prozent der Fälle unter den ersten fünf Treffern. Die Antwortzeit sank zugleich von 2,5 auf 1,2 Sekunden. Diese Werte beziehen sich auf den Vergleich mit der eigenen Vorversion des Systems.
Die Studie zeigt damit, welches Potenzial multimodale KI für Produktsuche und Produktdaten haben kann. Für Händler ist vor allem die automatische Texterstellung aus Fotos relevant, weil sie Lücken in Beschreibungen verringern könnte. Für Käuferinnen und Käufer verspricht der Ansatz eine Suche, die visuelle Details besser versteht und weniger mehrere Anläufe erfordert.
Offen bleibt, wie robust der Prototyp außerhalb des Labors arbeitet. Bislang trat er nur gegen die eigene Vorversion an. Der nächste Prüfpunkt ist ein Vergleich mit etablierten Shop-Suchen und realen Produktkatalogen; belegt sind derzeit 95 Prozent Top-5-Treffer im Testaufbau.