Seitenanfang

Über die Problematik des Erkennens guter Forschungsarbeit 19.01.2016 / Verbandsnews / Prof. Dr. Raimund Wildner

Wie unterscheidet man gute von schlechter Marktforschung? Wie kann die erforderliche Qualität sichergestellt und erkannt werden? Welche Rolle spielen in diesem Zusammenhang neue Formen der Marktforschung wie Social Media-Analysen? Diesen und anderen zentralen Aspekten rund um das Thema „Qualität in der Marktforschung“ geht Raimund Wildner in seinem folgenden Leitartikel nach. Dieser bildet zugleich den Auftakt für eine neue Reihe, die in dieser inbrief-Ausgabe startet und grundlegende Leitfäden für qualitativ hochwertige Marktforschung enthält.

Gibt man „Marktforschung Qualität“ in Google ein, dann erhält man 452.000 Fundstellen. Da stellt sich schon die Frage: Was ist Qualität in der Marktforschung? Wie kann sie beurteilt werden? Einer Zahl in einem Marktforschungsbericht sieht man ja zunächst nicht an, welche Qualität sie hat. Das Problem: Der Preis für eine Marktforschung ist leicht zu beurteilen, die Qualität dagegen nur schwer. Das bedeutet, dass die Gefahr besteht, dass die scheinbar billige Marktforschung mit schlechter Qualität vor der höherpreisigen Marktforschung mit guter Qualität gewinnt, obwohl schlechte Qualität gerade bei Marktforschung immer zu teuer ist. Im Extremfall ist sie irreführend und damit selbst dann zu teuer, wenn sie kostenlos ist.

Auch ein Blick in die Lehrbücher hilft hier nur bedingt weiter. Dort werden zwar Kriterien wie Objektivität, Reliabilität, Validität und Repräsentativität genannt. Doch die Überprüfung dieser Kriterien ist weder einfach noch führt sie immer zum Ziel. So wird man auch die qualitativ beste Gruppendiskussion, die eine Fülle wertvoller Erkenntnisse liefert, nur schwerlich als objektiv, d.h. unabhängig vom Moderator oder gar als repräsentativ bezeichnen können.

Die existierenden Marktforschungsrichtlinien bringen zwar wichtige Aspekte ein, können die Frage nach der richtigen Qualität aber ebenso wenig abschließend beantworten. So schreibt der ESOMAR-Codex vor, „dass Projekte und Tätigkeiten genau, transparent und objektiv konzipiert, ausgeführt, berichtet und dokumentiert werden“ müssen. Dies sind sicher wichtige Aspekte. Doch reicht das aus? Kann nicht auch eine schlechte Marktforschung transparent und objektiv konzipiert, berichtet und dokumentiert sein? Richtlinien und auch ISO-Normen können Mindeststandards vorschreiben, aber letztlich nicht garantieren, dass die Marktforschung die benötigte Qualität hat. Oder wie es ein erfahrener Marktforscher einmal formuliert hat: „Mit ISO kann ich auch einen Rettungsring aus Beton herstellen.“ Der ist dann zwar transparent dokumentiert, aber eben unbrauchbar.

Was also ist Qualität in der Marktforschung? Wie kann man gute Qualität erkennen und von schlechter Qualität unterscheiden?
Bei der Beantwortung dieser Frage wird man sich zunächst damit beschäftigen müssen, wozu die Marktforschung dient. Ganz generell: Marktforschung dient dazu, marktbezogene Entscheidungen zu verbessern. Die Frage wird also sein: Ist die Marktforschung geeignet, die anstehende(n) Entscheidung(en) zu verbessern? In welchem Maße ist sie das? Und dann natürlich auch: Ist Marktforschung besser als andere Informationen dazu geeignet?

Das bedeutet zunächst: Qualität in der Marktforschung ist nie absolut, sondern immer in Relation zu der jeweils anstehenden Entscheidung zu sehen. Wenn zu entscheiden ist, ob Werbung A oder Werbung B ausgestrahlt werden soll, dann muss lediglich festgestellt werden, welche Werbung das angestrebte Ziel (z.B. Anregung zum Kauf, Imageverbesserung etc.) besser erreicht. Es geht also nur um die Reihenfolge, nicht um das Niveau. Geht es aber darum, ob ein Neuprodukt eingeführt wird oder nicht und hat das Controlling errechnet, dass ab einem Verkauf von X Millionen Einheiten sich die Einführung lohnt, dann geht es darum, dass das zu erwartende Verkaufsvolumen möglichst genau prognostiziert wird. Diese Aufgabe ist sehr viel anspruchsvoller.

Oft werden Daten erhoben und aufbereitet, deren endgültige Verwendung noch nicht bekannt ist. Das ist z.B. in der Panelforschung der Fall. Daten aus dem Verbraucherpanel können zur Beurteilung des Erfolgs der Konkurrenzprodukte in Relation zu den eigenen Produkten verwendet werden, aber auch zur Zielgruppenanalyse oder zur Prognose des langfristigen Produkterfolgs, um nur einige Beispiele zu nennen. Auch in der Politik- und Sozialforschung ist die spätere Verwendung der Daten oft nicht bekannt. Akzeptiert die Mehrheit der Bevölkerung die Aufnahme von mehr Flüchtlingen oder nicht? Die Untersuchungsergebnisse dazu werden von vielen Gruppen verwendet, zum Teil auch instrumentalisiert. In solchen Fällen ist es wichtig, dass die Aussagekraft der erhobenen Daten und auch die Grenzen dieser Aussagekraft sauber dokumentiert werden. So sollte bei einer bundesweiten Befragung von 1000 Personen die Stadt Bremen nicht extra ausgewiesen werden, auch wenn sich die Regierung oder die Opposition in Bremen gerade brennend dafür interessieren, wie das in ihrem Bundesland im Vergleich zum Bundesgebiet ist, und zwar einfach deshalb, weil die Zahl der Befragten in Bremen mit etwa zehn viel zu gering für ein aussagefähiges Ergebnis ist.

Eine weitere Schwierigkeit ist, dass Marktforschung in der Regel das Ergebnis eines komplexen Prozesses mit vielen Schritten ist.  Wie bei einer Kette die Qualität durch das schwächste Glied bestimmt ist, so ist die Qualität des Prozesses oft von der Qualität des qualitativ schlechtesten Schrittes bestimmt. Ist das Briefing schlecht, dann werden es auch hervorragende Fragebögen und erstklassige Stichproben nicht mehr schaffen, die Informationen zu liefern, die für die jeweils anstehende Entscheidung benötigt werden. Ebenso kann das Ergebnis aber auch durch eine schlechte Stichprobe oder durch eine schlechte Abschlusspräsentation, welche die Marketingentscheider nicht erreicht, ruiniert werden, und zwar auch dann, wenn die anderen Schritte mit der höchstmöglichen Qualität ausgeführt wurden.

Die Qualitätsdiskussion gewinnt zusätzlich an Bedeutung durch die neuen Formen der Marktforschung. Nur ein Beispiel: Welchen Wert für welche Marketingentscheidungen haben Social Media-Analysen? Sind es irrelevante Äußerungen einer ganz kleinen Minderheit im Internet? Oder ist es ein Abbild des schon immer vorhandenen Word of Mouth, der nun beobachtet werden kann? Oder ist es einfach ein weiteres wichtiges Medium, das ebenso beobachtet werden muss, wie schon immer andere Massenmedien beobachtet wurden? Hier muss die Marktforschung Grundlagenstudien liefern, welche die sachgerechte Verwendung solcher neuen Formen klärt.

Gute Marketingentscheidungen können viel Geld sparen und/oder profitablen Umsatz generieren. Umgekehrt können schlechte Marketingentscheidungen viel Geld kosten oder Chancen verbauen. Wer sich klar macht, dass qualitativ hochwertige Marktforschung zu besseren Marketingentscheidungen führt, während schlechte Marktforschung in die Irre leitet, der wird bei der für die Entscheidung notwendigen Qualität der Marktforschung keine Kompromisse zulassen.

Eine Arbeitsgruppe aus erfahrenen betrieblichen Marktforschern und Institutsforschern im BVM hat es sich zur Aufgabe gemacht, wichtige Aspekte der Qualität in der Marktforschung zu beschreiben, und zwar auf den verschiedenen Stufen der Prozesskette, vom Briefing bis zum Abschlussbericht bzw. bis zur Präsentation vor dem Marketingentscheider. Konkrete Hinweise, klare Fragen, hilfreiche Tipps und damit eine nützliche Hilfestellung bei der Unterscheidung qualitativ hochwertiger von schlechter Qualität: Das ist das Ziel dieser Reihe, die in diesem inbrief gestartet wird.

Prof. Dr. Raimund Wildner, stellv. BVM-Vorstandsvorsitzender

 

Zurück