"Das wissenschaftliche Grundprinzip ändert sich auch beim Einsatz Künstlicher Intelligenz nicht" Interview mit Dr. Otto Hellwig, Lakmoos AI
Können KI und synthetische Panels eine ähnliche Umwälzung der Disziplin bedeuten wie damals die Online-Marktforschung?
Die Online-Marktforschung hat die Marktforschung eigentlich kaum umgewälzt. Sie hat lediglich die Art, wie wir mit Menschen kommunizieren, verändert. Das wissenschaftliche Grundprinzip ist unverändert geblieben, und dies bleibt es auch beim Einsatz Künstlicher Intelligenz und synthetischer Daten.
Durch Künstliche Intelligenz muss aber zukünftig nicht mehr für jede neue Frage, der Mensch eine neue Antwort geben. Die KI wird mit bereits vorhandenen Daten trainiert und antwortet auf dieser Basis stellvertretend für den Mensch. Wir müssen also nicht für jeder neue Frage ins Feld gehen.
Dies verändert nicht die Disziplin, also das wissenschaftliche Prinzip unserer Profession, sondern lediglich ihre Prozesse. Konnten wir durch die Online-Marktforschung auf den Einsatz von Interviewerinnen und Interviewer weitestgehend verzichten, so kann durch den Einsatz Künstlicher Intelligenz in vielen Fällen auf die Feldphase verzichtet werden. Dies wird Auswirkungen auf die Landschaft der Marktforschungsdienstleister haben.
Wie sind synthetische Panels derzeit zu bewerten? Sind sie verlässlich einsetzbar? Für welche Zwecke sind sie nicht geeignet?
Eine gute, weil zentrale Frage. Bei jedem Forschungs- oder Messinstrument steht die Frage nach der Zuverlässigkeit und Genauigkeit des Verfahrens an erster Stelle. Um dies zu gewährleisten, gibt es bei physikalischen Messinstrumenten wie einer Waage ein Eichverfahren. Bei der Erhebung von Meinungen gibt es dagegen keine Eichung der Instrumente, denn wir wissen, dass bei zwei identischen Umfragen niemals das exakt gleiche Ergebnis zustande kommt. Dafür gibt es zu viele Einflussfaktoren auf eine Umfrage wie die Zusammensetzung der Netto-Stichprobe oder Phänomene wie soziale Erwünschtheit.
Will man nun KI mit Befragungen vergleichen, vergleicht man Äpfel mit Birnen. Befragungen werden durch Non-Response oder soziale Erwünschtheit geschwächt, die KI folgt ausschließlich mathematischen Regeln. Um diese Schwäche der Befragungen auszugleichen, verbindet die KI drei Ebenen: Daten aus Befragungen, Ableitungen der KI auf Basis dieser Daten und Daten aus tatsächlichem menschlichen Verhalten wie Verkaufszahlen oder Clickraten. Die Frage, für welche Zwecke dieses Verfahren geeignet ist oder wie verlässlich KI-Insights sind, kann so nicht gestellt werden. Die Frage muss lauten, haben wir ausreichend und gute Daten, um die KI für eine bestimmte Fragestellung zu trainieren, und dies muss in jedem Einzelfall geprüft werden.
Häufig wird davon gesprochen, dass synthetische Panelisten im Grunde nichts anderes sind als eine Gewichtung, weil sie ja am Ende auf echten Daten aufbauen müssen. Wie ist das einzuordnen?
Absolut nicht, und das ist der faszinierende Teil! Der Ansatz ist grundlegend anders als Gewichtung oder Oversampling. Er besteht aus zwei wichtigen Schritten. Zunächst lernt die KI über mehrere Datensätze hinweg,
Beziehungen zwischen Attributen zu verstehen. Im zweiten Schritt verwendet die KI diese erlernten Beziehungen, um neue Datenpunkte abzuleiten. Dies geht über eine einfache Extrapolation hinaus. Durch die Anwendung bekannter Muster und vorhandener Kenntnisse über die Befragten kann die KI neue Informationen generieren, die in den ursprünglichen Daten nicht vorhanden sind. Die KI versteht die Bedeutung hinter den Daten. Sie ist kein statistisches Instrument, sondern ein intelligentes. Auf Basis dieses Verstehens kann sie nicht nur Lücken zwischen fehlenden Datenpunkten überbrücken, sondern neue Antworten generieren, die in den ursprünglichen Daten nicht enthalten sind. Hierfür muss die eingesetzte KI aber speziell für ihren Einsatz in der Marktforschung trainiert werden.
Können synthetische Panelisten das Spektrum eines normalen Panelisten abbilden, und inwiefern können sie trainiert werden, verschiedenste Facetten und Themen abzubilden?
Hier spielt das Modell eine große Rolle, ob es so aufgebaut ist, dass es die Variabilität der Bevölkerung nachbildet oder sich nur auf den Durchschnitt konzentriert und diesen verstärkt (wie ChatGPT). Die Modellarchitektur spielt dabei eine entscheidende Rolle. Wenn sie so konzipiert ist, dass sie die Variabilität auf Bevölkerungsebene widerspiegelt, kann sie ein breites Spektrum menschlicher Eigenschaften und Reaktionen widerspiegeln. Wenn sie jedoch nur den Durchschnitt verstärkt - wie dies bei einigen LLM der Fall ist -, besteht die Gefahr, dass die Nuancen und Extreme, die oft zu echten Erkenntnissen führen, übersehen werden. Ein für die Marktforschung trainiertes Modell muss auch erkennen, wenn es keine geeignete Antwort ableiten kann, an diesem Punkt liefert ChatGPT Halluzinationen.
Was bedeutet das für den Job des Marktforschenden?
Ich denke, es ist offensichtlich, dass sich die Rolle des Menschen in der Marktforschung (und eigentlich überall) dramatisch verändern wird. In fast allen Bereichen ersetzt die KI den Menschen oder weist ihm eine neue Rolle zu. Die einzigen Bereiche, in dem ich darauf wetten würde, dass der Mensch im Mittelpunkt stehen bleibt, sind der Kontakt mit dem Kunden (Menschen mögen und vertrauen Menschen) und der Übergang von Ergebnissen zu unternehmerischen Strategien und Entscheidungen.
Die Fragen stellte Christian Thunig, BVM-Vorstandsmitglied
