Gefahr für die Datenqualität: Warum synthetische Befragte das Vertrauen realer Panelisten gefährden

Die Marktforschung verändert sich durch KI und synthetische Befragte rasant. Während Effizienzgewinne im Fokus stehen, beleuchtet diese Studie der TH Augsburg und PAYBACK die bisher vernachlässigte Perspektive der realen Panelteilnehmenden. Wie reagieren Menschen darauf, wenn ihre Antworten durch Algorithmen ergänzt oder ersetzt werden? Die Ergebnisse zeigen tiefe Skepsis: Befürchtet werden ein Verlust an Authentizität sowie Manipulation. Damit steht das Vertrauen als essenzielle Basis hochwertiger Datenqualität auf dem Spiel.

Hintergrund

Die Marktforschungsbranche erlebt durch Fortschritte in der Künstlichen Intelligenz (KI) einen tiefgreifenden Wandel, der u.a. auch durch den viel diskutierten Einsatz synthetischer Befragter bzw. synthetischen Daten geprägt ist. In diesem Artikel sollen unter synthetischen Befragten simulierte Personenprofile, die auf Grundlage umfangreicher Datensätze und Methoden der Künstlichen Intelligenz menschliches Antwortverhalten nachbilden, verstanden werden. Die dabei generierten Antworten stellen wiederum synthetische Daten dar. Eine einheitliche Definition ist jedoch aktuell noch nicht in Sicht, ebenso gibt es noch jede Menge offener Fragen zu Marktstandards, Regulierungen u.ä.

Die Fachdiskussion beleuchtet intensiv die Chancen (wie höhere Effizienz, geringere Kosten und schnellere Datenverfügbarkeit) sowie die Risiken (etwa hinsichtlich der Validität der Ergebnisse und der Transparenz der Verfahren) dieser Daten. Die Perspektive der realen Panelteilnehmenden wurde in dieser Debatte jedoch bislang kaum berücksichtigt. Die vorliegende Untersuchung, die von der TH Augsburg in Zusammenarbeit mit PAYBACK durchgeführt wurde, beschäftigt sich daher mit der Wahrnehmung der Panelteilnehmenden und thematisiert deren mögliche Reaktionen auf den Einsatz von synthetischen Befragten.

Studienmotivation

Warum ist diese Perspektive relevant? Die Panelisten bilden – zusammen mit einem guten Studiendesign und ggf. Fragebogen – die Grundlage für Datenqualität. Datenqualität ist ein Wort, bei dem normalerweise alle zustimmend nicken. Weniger Konsens herrscht dagegen, wenn es um die Definition derselben geht und noch weniger, wenn ein angemessener Preis verlangt wird. Die Diskussion um Datenqualität ist nicht neu. Das abgedroschene „Garbage in – Garbage out“ bekommt jedoch durch synthetische Daten eine ganz neue Dimension. In den letzten 25 Jahren hat insbesondere der Siegeszug der Online-Befragungen eine vielfältige Methodendiskussion ausgelöst. Mit Online-Befragungen hat sich erstmals die Datenerhebung ein Stück weit anonymisiert. Nicht im datenschutztechnischen Sinn, sondern in der Interaktion, die jetzt keine zwischen Interviewer und Befragtem mehr ist. Die damit einhergehende Entfremdung sowie die – ursprünglich durchaus sinnvolle – Incentivierung hat eine Vielzahl von bekannten wie unerwünschten Nebenwirkungen zur Folge gehabt. Klickfarmen oder „hauptamtliche“ Befragte seien exemplarisch genannt. 

Ohne intrinsisch motivierte Panelisten, die sich durch manchmal nur semi-interessante Fragebögen klicken, sind keine belastbaren Insights möglich. Wenn jetzt diese kostbare Ressource durch synthetische Daten teilweise ersetzt werden kann, ist das zunächst einmal eine interessante Option. Zumindest solange, wie es dazu führt, dass Panelisten in der Folge die spannenderen Studien bekommen. Der Hauptgrund für die Teilnahme an Studien liegt zwar in der monetären Incentivierung, das hat auch die vorliegende Studie bestätigt. Für 77 Prozent ist das der Hauptgrund. Gleichzeitig gaben aber auch rund die Hälfte weitere Gründe an, wie Spaß an Befragungen oder die Möglichkeit die eigene Meinung einzubringen, die auf eine intrinsische Motivation hindeuten. Genau diese Motivation ist es, die so wertvoll ist und die Vertrauensbasis bildet. Durch den Einsatz von synthetischen Befragten, die im Übrigen in dieser Studie nur als „künstliche Befragte“ konkretisiert wurden, läuft dieses Vertrauen große Gefahr, verspielt zu werden.

Die Ergebnisse zeigen, dass Panelisten bei direkter Konfrontation mit dem Thema synthetische Befragte mehrheitlich skeptisch auf den möglichen Einsatz eben solcher künstlicher Befragter reagieren. Viele Befragte äußern Bedenken vor einem Verlust menschlicher Authentizität und Glaubwürdigkeit. Aussagen wie „KI fühlt nicht wie ein Mensch”, „Weil ich glaube, dass es dann nicht mehr repräsentativ wäre“ oder „Weil keine KI die menschliche Meinung zu 100% wiedergeben kann“ verdeutlichen, dass Perspektiven und Emotionen von synthetischen Befragten als nicht vollwertig oder sogar als manipulierbar angesehen werden.

Theoretische Einordnung

Zur theoretischen Fundierung möglicher Reaktionen wurden zwei sozialpsychologische Ansätze herangezogen: die Self-Determination Theory (SDT) von Deci und Ryan und die Reaktanztheorie von Brehm. Die SDT postuliert, dass Motivation von der Befriedigung psychologischer Grundbedürfnisse (Autonomie, Kompetenz, soziale Eingebundenheit) abhängt. Werden diese Bedürfnisse durch den Einsatz synthetischer Befragter beeinträchtigt, etwa durch den Eindruck eines Bedeutungsverlusts der eigenen Beiträge, kann dies die Motivation zur Teilnahme mindern. Die Reaktanztheorie beschreibt einen psychologischen Widerstand, der entsteht, wenn Individuen Einschränkungen ihrer wahrgenommenen Freiheit oder Kontrolle erleben. Dieser Widerstand kann sich bei einer Einschränkung der Rolle der Panelteilnehmenden im Forschungsprozess als Misstrauen oder Rückzug äußern.

Ausgewählte Ergebnisse

Als Voraussetzung für KI-Nutzung wurde zunächst die allgemeine Technikaffinität abgefragt. 44 Prozent bezeichnen sich selbst als durchschnittliche Anwender, 32 Prozent haben laut eigener Aussage Spaß an Technik, aber echte Technik-Freaks sind nur 16 Prozent. Die Selbsteinschätzung zu KI-Nutzung fällt ähnlich gemischt aus. Über 40 Prozent der Befragten kennen bzw. nutzen KI nicht (bewusst). Im Gegenzug sind 57 Prozent gelegentliche oder regelmäßige Nutzer. Bei beiden Dimensionen ist eine signifikant stärkere Technik- bzw. KI-Affinität von Männern bzw. jüngeren Nutzern (Grenze bei 40 bis 50 Jahren) zu konstatieren. Weitere Abfragen zur Wahrnehmung von künstlicher Intelligenz (vgl. Abbildung 1) offenbarten eine Spaltung der Befragten in zwei etwa gleich große Hälften, wobei die Aussage „Ich finde KI manchmal beängstigend“ mit 60 Prozent Top-Box zeigt, dass aktuell die Furcht leicht über die Faszination des Neuen siegt.

Diese Diskrepanz gegenüber KI im Alltag setzt sich verstärkt in Form von Skepsis fort, wenn die Integration synthetischer Befragter in die empirische Forschung thematisiert wird. Diesen konkreten Einsatzfall, bei dem KI zur Generierung von Umfrageantworten verwendet wird, bewerten über 70 Prozent eher oder sehr negativ, weitere 21 Prozent neutral, sodass nur acht Prozent eine positive Reaktion zeigten. Vorbehalte äußern sich vor allem in Befürchtungen, dass die Ergebnisse nicht die Meinungen von realen Menschen widerspiegeln: „Weil die KI meine persönliche Meinung nicht wissen kann, sie kann nur in etwa vorhersagen, was die Mehrheit denken würde“. Über diese grundlegende Sorge hinaus werden bereits ungestützt sehr dezidierte Befürchtungen hinsichtlich potenziellen Missbrauchs artikuliert: „Je nachdem welche Absichten der Verantwortliche solcher Umfragen hat, können verzerrte Öffentlichkeitsaussagen dargestellt werden. Produktbeurteilungen könnten zum Beispiel gefälscht sein.“, „Wenn KI Umfrageergebnisse erstellt, woher weiß ich, ob das neutral ist oder ob z.B. der Programmierer Einfluss nimmt.“

In Summe kann festgehalten werden, dass Risiken durch synthetische Befragte deutlich höhere Zustimmung erfahren wie Chancen. Dies gilt sowohl für das eigene Gefühl, wenn bewusst ist, dass auch synthetische Befragte zugespielt werden als auch über verschiedene Vertrauensaspekte hinweg. Erfreulicherweise hätte es laut Selbsteinschätzung der Befragten aber wenig Auswirkungen auf ihre Ehrlichkeit. Abbildung 2 zeigt die Top-Boxes der Zustimmungswerte zu verschiedenen Risikostatements.