AI for Survey Design: Generating and Evaluating Survey Questions with Large Language Models

Anna Fuchs ist Nachwuchsforscherin 2026 – BVM/VMÖ/SWISS INSIGHTS in der Kategorie Masterarbeit. Ihre Arbeit zeigt, wie Large Language Models die Entwicklung von Survey-Items unterstützen können und welchen Einfluss die Wahl des Modells und der Prompting-Strategie auf die Qualität der generierten Fragen hat.

Fragen für Umfragen (sogenannte Survey-Items) zu entwerfen ist einfach – hingegen gute Survey-Items zu entwerfen, ist eine komplexe Aufgabe. Large Language Models (LLMs) bieten das Potenzial, den Prozess des Survey-Designs zu unterstützen, indem sie Teile der Item-Generierung automatisieren.

Diese Arbeit liefert die erste eingehende Analyse der LLM-basierten Survey-Item-Generierung und untersucht systematisch, wie verschiedene Designentscheidungen die Itemqualität beeinflussen. Fünf LLMs (GPT-4o, GPT-4o-mini, GPT-oss-20B, LLaMA 3.1 8B und LLaMA 3.1 70B) wurden eingesetzt, um Survey-Items zu vier inhaltlichen Themenbereichen zu generieren: Arbeit, Lebensbedingungen, nationale Politik und aktuelle Politik. Zusätzlich wurden drei Prompting-Strategien verglichen: Zero-Shot-Prompting, Role-Prompting und Chain-of-Thought-Prompting. Zur Beurteilung der Qualität der generierten Items wurde der Survey Quality Predictor (SQP) verwendet, eine webbasierte Software zur Schätzung der Fragenqualität anhand der Kodierung formaler und sprachlicher Merkmale. Diese Merkmale wurden mithilfe eines LLM-gestützten Kodierungsverfahrens erfasst.

Die Ergebnisse zeigen deutliche Unterschiede in den Item-Eigenschaften zwischen den verschiedenen Modellen und den Prompting-Techniken. Sowohl die Wahl des Modells als auch die verwendete Prompting-Strategie beeinflussen die Qualität der generierten Items.

Proprietäre GPT-Modelle erzeugen im Allgemeinen konsistentere Items als die Open-Source LLAMA-Modelle: Die mit GPT-4o und GPT-4o-mini generierten Items weisen eine sehr ähnliche Qualität auf, unabhängig davon, ob das größere oder das kleinere Modell verwendet wurde oder welcher Prompt zum Einsatz kam. Die mit LLaMA generierten Items zeigten dagegen eine deutlich stärkere Schwankung in der Qualität, je nachdem welche Modellgröße oder Prompting-Technik verwendet wurde. Insgesamt erzielte Chain-of-Thought-Prompting die besten Ergebnisse. GPT-4o, GPT-4o-mini und LLaMA 3.1 70B erreichten eine vergleichbare Item-Qualität, wobei LLaMA 3.1 70B eine höhere Variabilität aufwies.

Die Ergebnisse dieser Arbeit verdeutlichen sowohl das Potenzial als auch die derzeitigen Grenzen von LLMs bei der Unterstützung der Fragebogenerstellung. Die Befunde zeigen, dass LLMs vielversprechende Survey-Items generieren können, betonen jedoch zugleich, dass die Ergebnisse mit Vorsicht verwendet und kritisch bewertet werden müssen. Durch die Bewertung der Item-Qualität liefert diese Arbeit eine Grundlage für zukünftige Forschung und trägt zu einem differenzierten Verständnis von KI-gestützten Surveys-Designs bei. Da sich die LLM-Landschaft rasant weiterentwickelt und fortlaufend neue, leistungsfähigere Modelle sowie Prompting-Techniken entstehen, ist es umso wichtiger, die Potenziale von LLMs im Bereich des Survey-Designs kontinuierlich zu untersuchen und zu evaluieren.

Die Masterarbeit wurde inzwischen zu einer wissenschaftlichen Publikation ausgearbeitet. Das daraus hervorgegangene Paper wurde zur Präsentation auf zwei Konferenzen angenommen und ist bereits als Preprint online verfügbar.

Mehr zum Preis der Deutschen Marktforschung/Nachwuchsforscher/in des Jahres - BVM/VMÖ/SWISS INSIGHTS