Seitenanfang

Wie man sich als Auftraggeber vor erfundenen Interviews schützen kann 28.02.2018 / Branchennews / Prof. Dr. Raimund Wildner, Vorsitzender des Rates der Deutschen Markt- und Sozialforschung e.V.

Qualität hat ihren Preis. Unrealistisch niedrige Feldpreise sind ein Indikator für potenzielle Qualitätsmängel und sollten alle Nutzer entsprechender Leistungen hellhörig werden lassen. Auch bei realistischen Honoraren gibt es keine Garantie, dass zuverlässig gearbeitet wird. Es könnte trotzdem sein, dass der Felddienstleister schlecht arbeitet oder fälscht und dafür umso mehr Profit für sich erzeugt. Die gute Nachricht vorab: Fälschungen können zwar nicht zu 100 Prozent erkannt werden, vor allem ist es fast unmöglich, einzelne gefälschte Interviews zu identifizieren. Die Fälschung ganzer Studien kann man aber doch so erschweren, dass es fast unmöglich ist, nicht aufzufallen.

1. Rohdatenlieferung vereinbaren

Rohdaten sind viel schwerer zu fälschen als Tabellen und nur Rohdaten können gründlich auf Fälschungen geprüft werden (s. Ziffer 7).

Der Einwand, dass die Standesregeln dies verbieten, ist nicht korrekt. Es muss lediglich sichergestellt werden, dass die Anonymität der Befragten gewahrt bleibt. Dazu reicht es, dass man solche Daten, die eine Identifizierung ermöglichen, von der Rohdatenlieferung ausschließt.

Wurde der Felddienstleister von einem Marktforschungsinstitut beauftragt, dann kann und sollte ohnehin vereinbart werden, dass der gesamte Datensatz einschließlich der identifizierenden Merkmale wie Telefonnummer, Name oder Adresse an das Marktforschungsinstitut weitergegeben werden kann. Auch sollte im Interview schon darauf hingewiesen werden, dass u. U. Kontrollanrufe stattfinden können.

2. Lieferung ergänzender Informationen vereinbaren

Bei schriftlicher Befragung oder bei paper- & pencil-Interviews kann zusätzlich vereinbart werden, dass die Originalinterviewbögen (mit abgetrennter Adresse) eingesehen werden können. Fälschungen lassen sich dann u.U. schon durch Handschriftvergleiche erkennen. Bei CAPI-, CATI- und Online-Interviews sollten zu den Antworten auch Zeitstempel mitgegeben werden.

Dies macht Fälschungen zwar nicht unmöglich, jedoch schwerer und daher weniger lohnend. Zudem signalisiert es dem Feldinstitut eine erhöhte Wahrscheinlichkeit, bei Fälschungen entdeckt zu werden.

3. Fragen mit bekannten Ergebnissen integrieren

Eine relativ einfache Möglichkeit, um Betrug zu erschweren, ist, in den Fragebogen auch zwei oder drei Fragen zu integrieren, von denen das Ergebnis aus anderen (z.B. früheren) Umfragen bekannt ist. Dann hat der Felddienstleister zwar immer noch die Möglichkeit, nur einen Teil der Interviews durchzuführen und den Rest nach diesem Muster zu fälschen. Betrachtet man jedoch nicht nur die Antworten jeder Frage für sich, sondern auch den Zusammenhang zwischen den Fragen (z.B. durch Kreuzauszählungen oder Korrelationen), dann ist eine Fälschung sehr viel schwerer, zumal der Felddienstleister natürlich nicht weiß, welche Fragen hier relevant sind.

4. Interviews einer Studie auf mehrere Felddienstleister aufteilen

Wird eine Untersuchung auf mehrere Felddienstleister aufgeteilt, dann lassen sich die Ergebnisse vergleichen und so u. U. Unstimmigkeiten entdecken. Wichtig: Damit das funktioniert, muss man darauf achten, dass die Felddienstleister nicht zum gleichen Unternehmensverbund gehören.

5. Die Möglichkeit von Feldkontrollen vereinbaren und diese auch durchführen

Bei CATI- oder im Studio stattfindenden Interviews sollte die Möglichkeit von Kontrollen vereinbart werden. Auch hier ist man sich natürlich nicht sicher, dass nur für die Zeit der Kontrolle ordentlich interviewt wird. Ist die Anmeldefrist für die Kontrolle aber nur kurz, so ist die Organisation für ein betrügerisches Institut doch nicht so einfach. Zudem kann man bei Verdacht solche Kontrollen auch wiederholen.

6. Bei Incentives die Kontrollmöglichkeit der Auszahlung vereinbaren

Vor allem bei online oder mit Ärzten durchgeführten Interviews werden Incentives gezahlt, die für das ordentlich arbeitende Institut ein durchlaufender Posten sind. Hier kann vereinbart werden, dass ein Wirtschaftsprüfer kontrolliert, ob die Auszahlung auch tatsächlich erfolgt ist.

Dabei darf der Wirtschaftsprüfer die Namen der Empfänger des Incentives natürlich nicht weitergeben. Die Prüfung selbst verstößt aber nicht gegen das Datenschutzrecht, denn selbstverständlich muss es möglich sein, eine Buchhaltung durch Wirtschaftsprüfer zu kontrollieren.

Da die Prüfung mit Kosten verbunden ist, wird sie wohl vor allem dann durchgeführt werden, wenn andere Indizien auf einen Betrug hinweisen.

7. Eingehende Rohdatenprüfung mit statistischen Methoden

Das ist eine anspruchsvolle, aber auch sehr wirksame Methode, um Fälschungen zu entdecken. Sie geht davon aus, wie Fälscher vorgehen.

Eine Möglichkeit der Fälschung ist, dass man nur wenige Interviews durchführt oder sich vorstellt, wie eine bekannte Person das Interview beantworten würde und dann nach diesem Muster weitere Interviews ausfüllt. Im Ergebnis wird man dabei sehr ähnliche Interviews erstellen, die man z.B. mit einer Clusteranalyse finden kann.

Eine weitere Möglichkeit für Fälscher ist, Interviews mehr oder weniger beliebig auszufüllen. Solche Interviews haben dann keine innere Struktur der Daten. Wird großflächig nach dieser Methode gefälscht, so kann man das feststellen, indem man z.B. über die Ergebnisse einer Statementbatterie eine Hauptkomponentenanalyse laufen lässt.

Im Ergebnis ist man als Auftraggeber betrügerischen Felddienstleistern nicht hilflos ausgeliefert. Das bedeutet aber auch, dass ein Marktforschungsinstitut, das an ein Feldinstitut untervergibt, auch die Pflicht hat, dieses zumindest stichprobenweise zu kontrollieren. Und wenn man dann tatsächlich einen durch das Management des Felddienstleisters gedeckten Betrug nachweisen kann, dann sollte man das auch vor den Rat der Deutschen Markt- und Sozialforschung bringen, damit auch andere gewarnt werden können.

Zurück