„Die Stichprobenziehung in der Online-Marktforschung befindet sich in einer Hybridphase“

Online-Panels, KI und synthetische Daten verändern die Grundlagen der Stichprobenziehung. Doch trotz neuer Technologien bleiben Repräsentativität, Transparenz und die Qualität „echter“ Daten der Maßstab – und machen die Stichprobenforschung komplexer denn je. Das digitale Jahrbuch startet mit Oliver Frangakos, Country Manager bei Dynata und Mitglied im Fachbeirat des BVM, eine Interview- und Artikelreihe zur Stichprobenqualität.  

Wie würdest du den aktuellen Zustand der Stichprobenforschung in der Marktforschung beschreiben?

Oliver Frangakos: Die Stichprobenauswahl ist ein wesentlicher Faktor für den Erfolg jeder Marktforschungsstudie. Umfragen bieten nach wie vor einen entscheidenden und direkten Einblick in die Präferenzen, Verhaltensweisen und Denkweisen der Menschen, der sich nicht durch Sekundärdaten substituieren lässt. Die aus Umfragen gewonnenen Erkenntnisse sind jedoch nur so gut wie die Methoden, mit denen sie gewonnen werden. Aus diesem Grund ist ein solides Stichprobenprotokoll so wichtig. Die Entwicklung einer Stichprobe, die die Kriterien Zuverlässigkeit und Wiederholbarkeit nicht erfüllt, kann zu Problemen mit der Datenqualität führen. Die Umsetzung dieser entscheidenden Elemente ist in der gesamten Branche immer schwieriger geworden, aber Dynata bietet eine innovative Palette von Tools und Ansätzen, um diese Herausforderungen zu bewältigen.​

Vor welchen größten Herausforderungen stehen Panel-Anbieter, Institute und Auftraggeber heute bei der Stichprobenziehung?

Die Stichprobenziehung in der Online-Marktforschung befindet sich in einer pragmatischen Hybridphase: Die designbasierte Theorie bleibt der Maßstab, aber in der Praxis wird stark auf modellbasierte Anpassungen gesetzt, um nicht-probabilistische Rahmenbedingungen auszugleichen. Bis vor vielleicht 15 Jahren sprach man im Wesentlichen von drei unterschiedlichen Rekrutierungsmethoden, um eine Stichprobe für eine Marktforschungsstudie zu ziehen: telefonisch, online oder face-to-face. Mit der Individualisierung der Internetnutzung und der Verbreitung von Social Media kamen für die Online-Marktforschung neue Rekrutierungsmöglichkeiten hinzu. Die Rekrutierung wurde deutlich vielfältiger, aber auch komplexer.

Was bedeutet das für Online-Panel-Anbieter?

Für die auf online fokussierten Anbieter bedeutet das zum Beispiel: Dynata allein verwaltet über 3.000 Rekrutierungskanäle und Panelstrukturen über alle Märkte und Länder hinweg. Weltweit ist Dynata in 82 Ländern mit jeweils eigenen Panels vertreten, wobei jedes Panel durchschnittlich mehr als 200 Profilvariablen pro Panelteilnehmer umfasst. Diese Diversifikation ermöglicht es, bestmöglich die gesamte Breite der Internetnutzerschaft zu erreichen, denn der Anteil der Internetnutzer, die an klassischen Online-Panels teilnehmen wollen, ist bereits seit Längerem rückläufig, was sich insbesondere an der Erreichbarkeit jüngerer Zielgruppen bemerkbar macht.

Was bedeutet das für Euch konkret?

Diese zunehmende Komplexität ist eine Herausforderung für die Zuverlässigkeit und Wiederholbarkeit von Online-Umfragen. Um unter diesen sich schnell verändernden Bedingungen eine herausragende Qualität zu gewährleisten, hat Dynata einen systematisierten Ansatz auf Basis unterschiedlicher Online-Rekrutierungskanäle definiert, um die Stichprobenziehung zu vereinfachen. Diese Kanäle sind nach Involvement-Strategien organisiert. Neben klassischen proprietären Online-Panels existieren zwei weitere Rekrutierungskanäle: über Loyalty-Programme sowie über integrierte Partner wie beispielsweise Social Media, App-basierte Rekrutierung oder ähnliches.​

Der kanalbasierte Ansatz vereinfacht die Stichprobenauswahl und erhöht die Diversität in der Rekrutierung, ohne dabei an Genauigkeit einzubüßen, und sichert gleichzeitig die Zuverlässigkeit und Wiederholbarkeit der Forschungsergebnisse über verschiedene Projekte hinweg. Mit dieser Möglichkeit geht jedoch eine zunehmende Komplexität bei der Sicherung der Datenqualität einher. Das gelingt durch den Einsatz adaptiver Qualitätssicherungssysteme in der Rekrutierung sowie in der Umfrage selbst, die durch Machine Learning und KI-Tools unterstützt werden. Diese ermöglichen eine kontinuierliche, datenschutzkonforme Verifizierung der Identität von Befragten, unterstützen die adaptive Erkennung betrügerischer Teilnahmen und erleichtern die Vielfalt bei der Rekrutierung zu nachhaltigen Kosten – und damit die Aufrechterhaltung der Repräsentativität des Panels über einen längeren Zeitraum.

Welche Rolle spielen neue Technologien wie KI, Big Data oder Machine Learning bei der Stichprobengenerierung?

Innerhalb des Prozesses der Datenerhebung gewinnen diese Technologien immer mehr an Bedeutung. Bei Dynata nutzen wir Machine-Learning- und KI-Ansätze, um die Qualität unserer Stichproben zu verbessern. QualityScore™ ist die KI-gestützte Datenqualitätslösung von Dynata, die die Integrität von Umfragedaten sicherstellt. Sie wurde 2020 eingeführt und ist zu einem Eckpfeiler des Ansatzes von Dynata in Bezug auf Datenqualität geworden. Das System bewertet während der Teilnahme an Umfragen mehr als 175 Verhaltensindikatoren, um Betrug, Unaufmerksamkeit und Desinteresse zu erkennen. Zu diesen Indikatoren gehören offensichtliche Anzeichen wie zu schnelles Ausfüllen von Umfragen, immer gleiche Antworten oder schlechte offene Antworten, aber auch subtile Signale wie Mausbewegungsmuster, Tippgeschwindigkeit, Verwendung von Hotkeys oder automatischen Übersetzungsfunktionen. QualityScore entfernt und ersetzt automatisch schlechte oder betrügerische Interviews während der Datenerfassung. Projektübergreifend und bei der Rekrutierung von Teilnehmern unterstützen KI- und ML-basierte Prozesse die Qualitätskontrolle und erleichtern die Identifikation betrügerischer Teilnahmen sowie die Bereinigung der Datenbanken von Rekrutierungsquellen, die nicht unseren Qualitätsstandards entsprechen.

Glaubst Du, dass klassische Zufallsstichproben bald durch algorithmische oder hybride Modelle ersetzt werden?

Klassische Zufallsstichproben sind online äußerst selten anzutreffen. Der realistische Weg ist die hybride Stichprobenziehung, also eine algorithmische Rekrutierung und ein Routing der potenziellen Teilnehmer, basierend auf einem Multikanalmodell wie oben skizziert, sowie die Steuerung der Stichprobe mittels Quotenansatz. Hybride Ansätze, zum Beispiel ein Mix aus echten Befragten sowie synthetisch generierten Daten, sind bereits möglich. Die Anwendung erfolgt bislang jedoch noch in der Nische und erfordert eine qualitativ hochwertige Datenbasis „echter“ Daten, um Halluzinationen zu vermeiden.

Ist dann die Idee einer „rein statistischen Repräsentativität“ angesichts dieser digitaler Datenwelten noch zeitgemäß?

Repräsentativität bleibt der Fixstern, das Idealbild. Im digitalen Kontext unterscheiden wir zwischen der designbasierten Repräsentativität, also der klassischen Wahrscheinlichkeitsstichprobe aus einem bekannten Universum – das ist der Goldstandard, wird jedoch immer schwieriger, weil das Universum zwar bekannt, aber nicht in jedem Winkel gleichermaßen erreichbar ist, um eine klassische Zufallsstichprobe zu bilden. Bei der modellbasierten Repräsentativität wenden wir unter anderem klassische Quotenverfahren an, basierend auf der erforderlichen demografischen Verteilung oder Segmentdefinitionen. Repräsentativität ist nur in Bezug auf den Messkontext sinnvoll – wer ist erreichbar, wer stimmt zu, welche Verhaltensweisen sind beobachtbar. Das Ziel besteht darin, den Gesamtfehler zu minimieren, Annahmen zur Vernachlässigbarkeit zu rechtfertigen und verbleibende Verzerrungen zu quantifizieren. Transparenz hinsichtlich der Zielpopulation, der Abdeckung und der Anpassungsvariablen ist wertvoller als die uneingeschränkte Behauptung von Repräsentativität.

Das ist mal ein Wort. Wie sieht die Stichprobe der Zukunft aus? Wie sieht die Stichprobe im Jahr 2030 oder 2040 aus – formatübergreifend, dynamisch, verhaltensbasiert?

Die Herausforderungen, eine repräsentative Stichprobe zu ziehen, betreffen alle gängigen Methoden. Ein formatübergreifender Ansatz, der Befragten erlaubt, selbst den für sie passenden Kanal zur Teilnahme zu wählen, um Non-Response zu minimieren und Klumpungen auf einzelne Kanäle zu vermeiden, könnte sich als zukünftiger Weg etablieren, um eine möglichst breite Abdeckung der Gesamtbevölkerung zu gewährleisten. Entscheidend wird sein: Je kürzer die Befragung, desto höher die Erreichbarkeit und desto geringer ein potenzieller Bias in der Datenqualität. Und natürlich werden synthetische Daten eine Rolle im Umfrageforschungsprozess spielen.

Und was ist Deine Einschätzung: Wie siehst Du die Zukunft für Feldarbeit im klassischen Sinne mit Online-Panels oder Telefonie?

Online-Panels haben über die vergangenen 25+ Jahre eine enorme Wandlung durchlaufen und sich immer wieder den verändernden Rahmenbedingungen angepasst. Die Herausforderung ist und bleibt, Menschen für Befragungen zu gewinnen – ob online oder via Telefon, Messenger oder ähnliches. Ich sehe hier keine Alternative zur klassischen Feldarbeit: Die Ansätze zur Teilnehmerrekrutierung mögen sich ändern, die „Feldarbeit“ bleibt.

Wie können Forscher sicherstellen, dass algorithmische Stichproben keine gesellschaftlichen Gruppen ausschließen oder benachteiligen?

In erster Linie ist hier das Bewusstsein für potenzielle Benachteiligung oder Ausschluss erforderlich. Klassische Online-Umfragen sind kein Musterbeispiel für Inklusion. Gerade bei Online-Stichproben gilt: Wenn ich es nicht kontrolliere, kann ich es nicht messen. Ein Stichprobenplan, der zentrale Charakteristika für eine zu untersuchende Population nicht erhebt, also nicht per Quote definiert, läuft Gefahr, relevante Subgruppen zu benachteiligen bzw. nicht akkurat zu erfassen. Der Algorithmus kann nur berücksichtigen, was definiert wurde. Und die beste Stichprobenziehung nützt nichts, wenn nicht auch der Fragebogen barrierefrei programmiert wurde.​

Welche Kompetenzen werden Forschende künftig brauchen?

Die zentrale Kompetenz der Marktforschenden ist und bleibt aus meiner Sicht die Neugier. Gute Marktforschende hören zu, beobachten, fragen nach, versetzen sich in Menschen hinein und sind offen. Mit fortschreitender Digitalisierung wird es umso wichtiger, mit Hilfe der Marktforschung den Blick für die Menschen hinter den Zahlen zu schärfen. Daten gibt es überall, aber für einen Einblick in die Erlebniswelt der Menschen, in Verhaltensweisen, Präferenzen und Meinungen sind die Kompetenzen der Forschenden in der Markt- und Sozialforschung, das methodische Wissen, die Datenkompetenz, das strategische Denken sowie die psychologischen und sozialen Kompetenzen essenziell.​

Die Fragen stellte Christian Thunig.