Mensch vs. Bot: Wie KI die Stichprobenqualität sichert und Marktforschung revolutioniert

Die Marktforschung steht vor einem Umbruch. Während KI-gesteuerter Betrug die Stichprobenqualität bedroht, liefert die Technologie gleichzeitig die Waffen zur Abwehr. Andreas Knappstein von Bilendi erklärt im Interview, wie automatisierte Prüfverfahren wie der Bilendi Quality Score für saubere Daten sorgen. Trotz des Trends zu synthetischen Daten bleibt das Urteil klar: Echte menschliche Meinungen sind als Qualitätsanker unersetzlich.

Vor welchen größten Herausforderungen stehen Panel-Anbieter, Institute und Auftraggeber heute bei der Stichprobenziehung? 

Andreas Knappstein: Die Gewährleistung von Stichproben in guter Qualität und ausreichender Quantität ist für alle Marktteilnehmenden nach wie vor ein zentrales Thema. Die Branche (insbesondere die Qualitätsanbieter) sucht deshalb kontinuierlich nach neuen Ansätzen und Innovationen, um diesem notwendigen Anspruch gerecht zu werden.

Der Grundstein für eine gute Stichprobe wird bei der Rekrutierung gelegt. Bei Bilendi setzen wir auf eine lokale, sehr vielfältige und an die Gegebenheiten des jeweiligen Landes angepasste Rekrutierungsstrategie, um die Population der Internetnutzer:innen in jedem unserer mehr als 50 Panels bestmöglich abzubilden. Dabei wird der Großteil der Teilnehmenden aktiv durch unsere eigenen Kampagnen rekrutiert, was für die Qualität des gesamten Panels förderlich ist. KI hat hier den systemischen Fraud beschleunigt. Quellen, die vor fünf Jahren noch recht gut funktioniert haben, sind heute nicht mehr nutzbar ohne State of the Art Fraud Protection. Das hat zur Folge, dass wir heute deutlich mehr in R&D sowie Mitarbeitende investieren, um unseren Qualitätsanspruch gerecht zu werden.

Aber KI ist auch eine Hilfe bei der Fraud-Bekämpfung?

Absolut, KI versetzt uns bei Bilendi aber gleichzeitig in die Lage, hochkomplexe Abwehrmechanismen zu entwickeln und zu implementieren, um uns bestmöglich gegen systematischen Fraud zu schützen - sowohl bei der Erhebung als auch bereits bei der Rekrutierung. Hier stellen wir mit externen sowie mit internen Mitteln, wie dem fünfstufigen Bilendi Quality Score, systematisch die Datenqualität sicher und gehen dabei deutlich über den üblichen Branchenstandard hinaus. Bilendi setzt auf ein mehrstufiges, automatisiertes Prüfverfahren, das jeden einzelnen Teilnehmer vollständig verifiziert. Jede Panelistin und jeder Panelist durchläuft dabei fünf aufeinander aufbauende Qualitätschecks, die Manipulation, Mehrfachteilnahmen und betrügerisches Verhalten zuverlässig identifizieren. Nur eindeutig identifizierte und authentische Teilnehmer:innen erhalten Zugriff auf Umfragen. Verdächtige oder nicht verifizierbare Profile werden konsequent markiert und aus dem System entfernt. Das Ergebnis sind saubere, belastbare Datensätze.

Welche Rolle spielen die neuen Technologien wie KI, Big Data oder Machine Learning darüber hinaus bei der Stichprobengenerierung?

Die Frage scheint bereits die Sehnsucht zu enthalten, aus der klassischen „Stichprobenziehung“ eine „Stichprobengenerierung“ machen zu wollen. Denn synthetische Daten werden nicht erhoben, sondern generiert. Dennoch sollten wir behutsam vorgehen, um nicht blind dieser Verführung zu verfallen. Derzeit besteht ein wissenschaftlicher Konsens darüber, dass Primärdaten von Menschen noch lange nicht zu ersetzen sind, auch wenn es erste einfache "Good-enough"-Ansätze am Markt gibt. Human grounded Personas oder synthetische Boosts sind die Konzepte, die sich gerade zu etablieren scheinen.

Anders sieht es beim Einsatz von KI als Research Assistant aus. KI hat bei der Programmierung von Leitfäden, Fragen und Aufgaben, der Moderation, Analyse und dem Reporting ihre feste Rolle gefunden und wird weitestgehend vom Markt angenommen. So erleben wir das auch bei BARI, unserer KI, im Rahmen unserer Plattform Bilendi Discuss. Auch beobachten wir eine Renaissance der offenen Nennungen, die BARI in Umfragen moderiert, da sowohl Quantität als auch Qualität der Daten durch den Einsatz von BARI deutlich gesteigert werden können. Hier werden wir in den nächsten Monaten und Jahren zahlreiche Neurungen und Innovationen erleben.

Wie sieht die Stichprobe der Zukunft aus?

Vorneweg: Die Stichprobe der Zukunft muss auch weiterhin einen geräteunabhängigen, barrierefreien und möglichst kurzen Fragebogen durchlaufen, um eine hohe Qualität zu sichern. Zudem halte ich es für wahrscheinlich, dass Stichproben mit echten Menschen verstärkt mit synthetisch generierten Daten angereichert werden. Allerdings lässt sich die Intensität und Geschwindigkeit dieser Veränderung kaum vorhersehen. Derzeit sehen wir eher eine Ernüchterung. Die anfänglichen Entwicklungsfantasien stoßen klar an ihre Grenzen. Hier lautet das Prinzip noch: Validierung statt Glauben und sich der Verzerrungen bewusst sein.

Wie darf man eine formatübergreifende Stichprobe bei Nischen-Zielgruppen verstehen? 

Um auf die Herausforderungen für die zukünftige Realisierbarkeit zu reagieren, wird sich die Stichprobe der Zukunft weiterentwickeln. Formatübergreifende Ansätze können eine Lösung sein, um diese Lücke zu schließen. So rekrutieren wir bestimmte Nischen-Zielgruppen bereits heute direkt über Social-Media-Kanäle und nicht aus dem Panel bzw. kombinieren diese Ansätze. Die Anreicherung von Befragungsdaten mit Verhaltensdaten ist ebenso vielversprechend in Zeiten steigender Befragungsmüdigkeit. Das Sammeln von Verhaltensdaten ist nur sehr aufwendig und kostspielig und passt nicht zu der Ad-hoc-Mentalität der meisten Marktforschungsprojekte. Hier ist Weitsicht mit den entsprechenden Budgets gefordert.

Gibt es künftig noch Feldarbeit im klassischen Sinne? 

Ja, die klassische Feldarbeit wird auch in Zukunft noch bestehen, wenngleich sich ihr Anteil und ihre Form verändern werden. Der Anteil der klassischen Feldarbeit wird tendenziell sinken und durch technologische Entwicklungen ergänzt bzw. in einfachen, standardisierten Bereichen auch abgelöst werden. Dennoch glaube ich, dass die Befragung von echten Menschen tendenziell ein stärkeres Asset werden wird als es heute ist – auch weil es immer schwieriger sein wird, Menschen für Marktforschung zu gewinnen. Aber echte Menschen bleiben unersetzlich, solange es um echte Meinungen, Einstellungen und Erfahrungen geht.

Das Interview führte Christian Thunig.

Zum Interviewpartner
Andreas Knappstein ist Managing Director DACH bei Bilendi & respondi und seit 2005 in der Marktforschungsbranche aktiv. Er verantwortet den Ausbau des Geschäfts im deutschsprachigen Raum und bringt langjährige Erfahrung aus Vertrieb, Key Account Management und Panelgeschäft mit. Zuvor war er unter anderem bei QuestBack und Liveloop tätig. Knappstein studierte Wirtschaft an der RWTH Aachen und engagiert sich als ESOMAR Representative.

Weitere Interviews zum Schwerpunkt Stichproben:

Oliver Frangakos: 
Die Stichprobenziehung in der Online-Marktforschung befindet sich in einer Hybridphase
Dr. Holger Liljeberg:
Stichprobe der Zukunft: KI, Kosten und der Kampf um Repräsentativität