KI in der Praxis: Was funktioniert schon? Und was noch nicht?
Zwischenbilanz: Generative KI kann der Marktforschung große Potenziale erschließen – nicht nur in puncto Effizienz. Viele neue Tools sind bereits im Regelbetrieb. Es gibt aber auch Ernüchterung. Umstritten vor allem: Was können synthetische Daten leisten?
Bei Forsa hat die Zukunft begonnen: Das Meinungsforschungsinstitut hat einen Interview-Bot entwickelt, der vollautonom Gespräche führen kann – immer höflich, freundlich und geduldig. Unermüdlich hakt er nach, wenn Antworten schwammig sind, er kennt keine tarifliche Arbeitszeit und ist auch nie krank. Forsa setzt ihn in seinem Omninet-Panel ein, dazu bei Personen, die sich nach telefonischen Erstkontakt zu einem KI-Interview bereit erklärt haben.
Die bisherigen Erfahrungen sind vielversprechend: „Es gibt Indizien dafür, dass Befragte dem Bot weniger sozial erwünschte Antworten geben als menschlichen Interviewern“, erklärt Forsa-Geschäftsführer Thorsten Thierhoff. Bemerkenswert sei auch, „dass die Teilnehmer den KI-Interviewer in vielen Belangen entweder gleichauf mit einem menschlichen Interviewer bewerten oder sogar besser“, so Thierhoff.
Vorteilhaft ist auch, dass der Bot sehr flexibel ist. Er spricht viele Sprachen, ermöglicht bei Nutzung über Desktop oder Handy auch das Umschalten zu schriftlichen Befragungen, und er ist zu jeder beliebigen Tages- oder Nachtzeit einsatzfähig. „Wir befinden uns derzeit noch in einer Pionierphase“, betont Thierhoff. „Wie bei jeder neuen Technologie wird es eine Weile dauern, bis sich jeder damit vertraut gemacht hat, ein längeres Gespräch statt mit einem Menschen mit einer KI zu führen.“
KI erweitert Instituten den Zugang beim Kunden
Der Forsa-Bot ist nur eine von vielen Innovationen, die Markt- und Meinungsforschung auf Basis generativer KI entwickelt haben. Es ist schon erstaunlich: ChatGPT wurde im November 2022 eingeführt, das war vor gerade mal dreieinhalb Jahren. Damit setzte eine Flut von neuen Tools und Technologien ein, die bereits selbstverständlich in der Praxis eingesetzt werden. Die unbedarfte Neugier der ersten Monate ist in Rekordzeit einer pragmatischen Betrachtungsweise gewichen.
„Die Anfangseuphorie wurde mittlerweile einem Realitätscheck unterzogen“, sagt Olaf Hofmann, CEO der Skopos Group. „Es zeigt sich eine gewisse Ernüchterung. Wir sehen, dass wir KI-Anwendungen in einigen Bereichen mit Vorsicht betrachten müssen.“
Die Skopos Group setzt KI-gestützte Technologien bereits umfassend ein, vor allem bei Skopos Elements, der Einheit für „Human-Centered Data Science“. KI hilft beim Coding von Freitexten und bei Sentiment-Analyse und Themen-Erkennung. Interaktive Persona-Bots ermöglichen es den Kunden, über Chats direkt mit ihren Zielgruppen in Kontakt zu treten. Über einen Insights-Bot lassen sich Daten schnell abrufen, zusammenfassen und analysieren. Und ein Market-Intelligence-Dashboard liefert einen datengestützten Blick in die Zukunft von Märkten.
„KI schafft nicht nur neue Erkenntnisse“, erklärt Hofmann. „Sie ermöglicht auch Dinge, die vorher am zu großen Aufwand gescheitert sind. Das reicht von vielfältigen Abfragen in der Ergebnis-Bibliothek von Kunden-Communities bis zur Auswertung einer Vielzahl von Studien für Meta-Analysen.“
Das Thema KI habe Skopos geholfen, für Kunden noch relevanter zu werden: „Wir können zum Beispel viel mehr Datenquellen erschließen und die Erkenntnisse daraus dem Kunden zur Verfügung stellen“, so Hofmann. Mit der KI-Expertise weite sich der Zugang zum Kunden: „Wir erschließen neue Kontakte über die Marktforschungsabteilungen hinaus.“
Mindline teilt seine KI-Erfahrungen auf einer neuen Online-Plattform
Auch bei Mindline hat man sich bereits sehr intensiv mit den neuen Technologien auseinandergesetzt und zahlreiche Anwendungsmöglichkeiten gefunden – aber hier und da hatte man sich auch mehr versprochen: „Ein wenig enttäuschend fand ich bislang Predictive AI und Creative Testing AI, also das Prestesting von kreativen Lösungen“, erklärt Gründer und Geschäftsführer Stefan Ruthenberg. „Wir haben festgestellt, dass man die Modelle sehr stark auf die jeweilige Branche und auf den jeweiligen Kunden trainieren muss, damit wirklich nachvollziehbare Ergebnisse herauskommen.“ Ansonsten habe man das Gefühl, dass die Ergebnisse meistens ziemlich generisch und vorhersehbar sind.
„Da ist also eine gewisse Ernüchterung eingetreten, zumal die Lizenzierung dieser Tools sehr, sehr teuer ist“, so Ruthenberg.
Mindline teilt sein Wissen über neue Tools mittlerweile online: „Wir wollen mit dem AI Insight-Tech Marketplace AIDVISOR unsere Erfahrungen mit KI-Tools der breiteren Öffentlichkeit und potenziellen Kunden zur Verfügung stellen“, sagt Ruthenberg. „Dort bringen wir unsere Perspektive als Anwender ein.“ Natürlich gehe es dabei auch darum, „uns bei potenziellen Kunden als Berater zu positionieren“.
An synthetischen Daten scheiden sich die Geister
Klar ist allen Fachleuten: Die Möglichkeiten der KI sind noch lange nicht ausgereizt. Aber wo kann noch mehr kommen? Am stärksten scheiden sich die Geister beim aktuell heißesten Thema: synthetische Daten. Für Skopos-Chef Hofmann gehören sie zu den Anwendungen, die mit Vorsicht zu betrachten sind: „Damit erhält man häufig nur einen zweiten Aufguss bereits vorhandener Erkenntnisse, man erfährt nicht viel Neues. Synthetische Daten sind – Stand heute – definitiv noch kein Gamechanger.“
Ähnlich äußert sich Forsa-Geschäftsführer Thierhoff: „Das ist ein gefährlicher Weg. Möglicherweise geht es für einen Moment gut, solange die Antworten von Menschen im Mainstream vorhersehbar sind. Je spezieller und aktueller die Themen jedoch werden, wird man verlässliche Ergebnisse nur dann bekommen, wenn man authentische Meinungen echter Menschen einsammelt.“
Anders sieht man es bei Mindline, das bereits mit einem Synthetic Data Boost arbeitet – dort, wo klassische Erhebungen an ihre Grenzen stoßen und es gilt, den Bias kleiner Stichproben auszugleichen. „Synthetische Daten sind vor allem interessant, wenn man ein großes Basis-Sample hat, und bestimmte Sub-Samples, die zu klein sind, auffüllen möchte“, erläutert Ruthenberg. „Dabei sollte das Basis-Sample mindestens dreimal so groß sein wie das zu boostende Sub-Sample. Dieses darf auch nicht zu heterogen sein. Beim Boosten sollte man über den Faktor 2 bis maximal 3 nicht hinausgehen.“
Ein sehr spezifischer, aber sehr interessanter Use Case für Synthetic Data Boost sei das retrospektive Boosten: „Man hat ein zeitlich zurückliegendes Tracking, das man in einer Zeitreihe mit aktuellen Daten vergleichen möchte, die aber vielleicht breiter oder tiefer sind. Auch hier kann man die historischen Daten auffüllen, natürlich wieder in den genannten Grenzen.“
Ruthenberg betont: „Das Boosting bietet sich nicht an, wenn man genau so gut reale Personen fragen könnte. Dann sind die Primär-Daten nämlich besser. Man setzt Boosting ja nicht aus Kostengründen ein, sondern für die Untergruppenanalyse, da, wo keine realen Daten verfügbar sind.“
Natürlich sei eine Skepsis gegenüber synthetischen Daten nicht ganz unberechtigt, trotz aller Validierungsstudien. Denn: „Die Tool-Anbieter lassen einen nicht gern in den Maschinenraum blicken, sie legen keine Beipackzettel über die genauen Funktionsweisen bei. Das alles ist daher etwas intransparent“, so Ruthenberg. „Wir können nur Studienlage und Validierung gegeneinanderhalten und sagen, wo es funktioniert und wo nicht.“
Ipsos baut vollkommen synthetische Panels auf
Für Markus Eberl, Chief Analytics Officer bei Ipsos, sind synthetische Daten „das transformativste Thema“. Das Unternehmen ist dabei, vollkommen synthetische Panels aufzubauen, die aber immer auf regelmäßig aktualisierten Daten „echter“ Menschen basieren. In den USA wurden bereits digitale Zwillinge des offline rekrutierten Knowledge-Panels generiert. „Dazu haben wir die Panel-Mitglieder sehr ausführliche Fragebögen ausfüllen lassen“, erklärt Eberl. „Ziel ist es, die grundsätzlichen Einstellungen, Wertesysteme und Haltungen von Menschen zu verstehen. Dieses Wissen lässt sich dann auf die KI-basierte Beantwortung neuer Fragen anwenden.“
Das Interesse bei den Kunden sei sehr groß, so Eberl: „Alle haben die Hoffnung, dass man damit sowohl schneller arbeiten kann als auch Erkenntnisse über kleine, schwer zu erreichende Zielgruppen gewinnt.“ Eberl betont, dass es nach wie vor Unsicherheiten beim KI-Einsatz gibt, weshalb menschliches Wissen und Kontrolle unverzichtbar bleibe. „Die KI-Systeme haben aber zuletzt einen deutlichen Sprung nach vorn gemacht. Wir erreichen beim Boosting von menschlichen Stichproben mit einer synthetischen Stichprobe mittlerweile 85 bis 90 Prozent der Genauigkeit, die ein menschliches Sample bietet.“
Es gebe aber auch nach wie vor viele Fragestellungen, bei denen sich eine klassische Panel-Befragung anbietet: „Das kann teilweise kostengünstiger und genauso schnell sein“, so Eberl. „Interessanter wird es bei Produkttests, die bekanntlich sehr aufwendig und teuer sind.“
Eberl ist zuversichtlich, dass generative KI eine große Chance für die Marktforschung ist: „Wenn man den Hype Cycle von Gartner betrachtet, befinden wir uns nach der ersten Ernüchterung bereits auf dem zweiten Plateau, wo die Kurve langfristiger nach oben geht. Wir haben sehr große Sprünge der Technologie gesehen. Jetzt geht es in die tägliche Anwendung.“
Die nächste Stufe: selbstständig agierende KI-Agenten
Auch in der betrieblichen Marktforschung sind KI-Tools längst selbstverständlicher Teil der täglichen Arbeit. „Mit Copilot Premium und anderen Anwendungen sind Auswertungen, Neuformulierungen und zum Teil Visualisierungen vollautomatisiert und in kürzester Zeit möglich“, sagt Yannick Rieder, EMEA Market Research Manager beim Pharmaunternehmen Johnson & Johnson Innovative Medicine. „Wir können uns nun mehr auf die Inhalte konzentrieren, die Form übernimmt die KI.“
Rieder und das Marktforschungs-Team führen Studien zu Marktpotenzialen, Positionierung, Zufriedenheit oder Awareness durch, hinzu kommen Wettbewerbsanalysen, Brand Tracking, Werbemitteltests und vieles mehr. Eine besondere Rolle spielt die Befragung von Ärztinnen und Ärzten.
Generative KI wird für viele weitere Aufgaben eingesetzt, etwa für Desk Research, synthetisches Eye Tracking oder auch bei Online-Befragungen. „Interview-Bots können bei Open-End-Fragen noch einmal nachhaken, so dass wir mehr Details erfahren“, so Rieder. Um Studienergebnisse greifbar zu machen, nutzt die Marktforschung auch synthetische Personas, die per Chat dialogfähig sind und Workshops mit Zitaten - basierend auf realen Interviews - anreichern können.
Dabei werden sowohl selbst entwickelte als auch am Markt verfügbare Tools zum Einsatz. Diese schreiben zum Beispiel Analysen, suchen nach Mustern in Datensätzen oder übernehmen das Wettbewerbsmonitoring. „Die nächste Stufe sind KI-Agenten, die selbstständig komplexere Aufgaben übernehmen und durchführen“, erklärt der Marktforscher.
Ebenfalls vielsprechend seien umfassende Knowledge-Management-Systeme, das das komplette vorhandene Research-Wissen einfach und unmittelbar zugänglich machen, auch für andere Abteilungen. Rieder betont, dass die neuen Technologien bislang nicht alle Erwartungen erfüllt haben: „Mit dem Auslesen von Visualisierungen und der Erstellung von PowerPoint haben viele Tools noch Schwierigkeiten. Auch umfassende Erfahrung und Validierung mit synthetischen Daten fehlen.“
Warum eine neue Studien-Flut nicht hilfreich ist
Unterm Strich bringe KI bislang keine grundlegend neuen Erkenntnisse, sondern vor allem Produktivitätssteigerungen. Rieder warnt davor, KI als Garant für Einsparungen zu betrachten: „Man muss sich immer gut überlegen, wie viel Ressourcen KI bindet, wie viel Aufwand Implementierungen mit sich bringen.“ Der Return on Invest sei bei manchen Anwendungen geringer, als es zunächst den Anschein habe. „Aktuell skaliert KI noch nicht immer“, so Rieder.
Was bedeutet das alles für die betriebliche Marktforschung? Rieder, ehrenamtlich auch Vorstandsmitglied der Deutschen Gesellschaft für Online-Forschung (DGOF), sieht sowohl Chancen als auch Gefahren für die Marktforschung. „Ich persönlich halte es für sehr wichtig, das Thema KI voranzutreiben, damit es nicht andere für uns tun, schon gar nicht Technologieunternehmen. Wir haben die Möglichkeit, mit dem gleichen Aufwand nun mehr zu erforschen und tiefere Erkenntnisse zu liefern – und diese in die Unternehmen hineinzutragen.“
Es bestehe die Gefahr, dass Marktforschung zunehmend zu einer Commodity werde: „Das erklärt vielleicht auch die das zögerliche Tempo, mit dem viele betrieblich Marktforschende KI-Tools adaptieren“, glaubt Rieder. „Sie befürchten, nach und nach abgelöst zu werden.“ Das sei aber nicht wahrscheinlich, wenn die Marktforschung sich weiterhin auf ihre Stärken Qualität und Expertise konzentriere. „Wir dürfen nur nicht den Fehler machen, einfach noch mehr Studien zu machen, nur weil wir mehr Zeit haben oder die KI diese für uns durchführt“, so Rieder. „Studien, die dann maximal mittelprächtig sind, helfen niemandem weiter und führen nur zu noch mehr Noise, gegen den insbesondere die Marktforschung ankämpfen sollte.“
