Qualität in der Marktforschung 25.01.2019 / Interviews / Dr. Frank Knapp, BVM-Vorstandsvorsitzender
Die Ereignisse der vergangenen Wochen haben dazu beigetragen, dass Qualität in der Branche wieder in aller Munde ist. Dabei scheint alles so einfach: Es erfolgt eine Leistung, die einerseits gesetzlichen Vorschriften, andererseits der vereinbarten Art und Güte entspricht.
Wodurch entstehen also Probleme?
„Entpersönlichung“ der Leistung
Ein komplexes „Buying Center“ (Fachabteilung, Management, Controlling/Compliance und Einkauf) sorgt dafür, dass keine einfache Dienstleister-Nutzer-Beziehung mehr besteht. Das führt zu unklaren Anforderungen und zu wenig direkten Kontrollmöglichkeiten. Unter Umständen gibt es zwar eine formal definierte Leistung (ein Stück Marktforschung, 400 Interviews etc.) – ob diese aber zur Zielerreichung geeignet ist, ist damit nicht festgelegt. Hinzu kommt, dass Marktforschung aus Sicht des Bestellers ein Werk ist – eben ein Stück Marktforschung –, aus Sicht des Anbieters aber eine Dienstleistung, also eine bestimmte Anstrengung auf ein Ziel hin.
Doch wie kann man das lösen? Durch eine umfangreiche Diskussion und Verschriftlichung im Vorfeld über das, was geht und was nicht geht. Nur wenn beiden Seiten klar ist, wie ein Projekt funktioniert, kann es auch ein Erfolg werden.
Digitalisierung & Zahlengläubigkeit
Zahlen wie Transaktions-/Interaktionsdaten sprechen bekanntlich immer die Wahrheit. Tatsächlich ist es aber ganz anders: Sie bilden erst einmal nur den Status quo ab. Wünsche, Vorlieben und Einstellungen oder mentale Modelle lassen sich damit nicht ermitteln.
Die Erwartung, die Wahrheit unmittelbar erkennen zu können, ist immer übertrieben. Meistens blicken wir auf ein Abbild einer Teilmenge der Wahrheit und müssen das richtig einordnen. Ein realistischer Bezug zu Datenlage und Erkenntnisobjekt ist immer geboten, die Aneinanderreihung von Zahlen hilft eher nicht weiter.
Marktforschung ist daher auch nie ein Beweis für etwas, sondern liefert nur Argumente für oder gegen bestimmte Handlungsoptionen. Sie reduziert also Unsicherheit bei Entscheidungen, erzwingt diese aber nicht.
Funktionale Qualität
Formale bzw. Prozess-Kriterien sind ebenfalls wichtig, aber ohne obiges irrelevant.
Dazu zählen:
- Qualifikation des eingesetzten Personals
- Einhaltung von Datenschutz und Standesregeln/Berufsethik
- Qualitätskontrollen (z.B. Plausibilität der Antworten/Daten)
Hier ist Vorsicht vor generellen Regeln angebracht. Eine formale Datensatzprüfung kann nur Warnsignale aussenden, sollte aber nicht zwingend zur Streichung von Daten verwendet werden.
Ein oft herangezogenes Kriterium ist beispielsweise das Straightlining: Das heißt ein Befragter kreuzt in einer Itemliste immer den gleichen Skalenpunkt an. Das kann – insbesondere bei kurzen Itemlisten – auch korrekt sein, nämlich immer Zustimmung oder Ablehnung signalisieren. Auch bei langen Itemlisten ist das möglicherweise kein Indiz für „Betrug“, sondern für nachlassende Aufmerksamkeit. Dann sind aber nicht einzelne Befragte zu streichen, sondern die ganze Frage ist mit Vorsicht zu betrachten. Bei sinnvoll ausfüllbaren Fragebogen ist
das daher ein in der Praxis vernachlässigbares Problem. Wichtiger sind konsistente Antworten, allerdings können auch diese für ein unterschiedliches Verständnis von Frageformulierungen stehen.
Bewährt hat sich daher das Markieren kritischer Datenpunkte, die gegebenenfalls manuell nachgeprüft werden müssen.
Detaillierte Kriterien können insbesondere folgenden Quellen entnommen werden:
- ISO 20252 für zu berücksichtigende Prozessschritte
- Die Leitfäden und Artikelserie des BVM zum Thema Qualität
Dr. Frank Knapp
BVM-Vorstandsvorsitzender
Erschienen in: Research & Results, Ausgabe 3/2018