„KI ist im Wettbewerb kein optionales Thema mehr“

Karin Hagemann treibt seit 2022 bei S-Communication Services, dem Kommunikationsdienstleister der Sparkassen-Finanzgruppe, die KI-Marktforschung voran. Ihre Zwischenbilanz: Die neuen Technologien bieten großes Potenzial, sind aber nicht überall ein Muss. Als nächsten Entwicklungsschritt sieht sie agentische Anwendungen.  

Frau Hagemann, mit welchen KI-Tools haben Sie gute Erfahrungen gemacht? 

Vor allem im Bereich der generativen KI arbeiten wir intensiv mit ChatGPT, einschließlich eigenen, konfigurierten Custom GPTs. Diese setzen wir nicht nur in der Marktforschung ein, sondern auch darüber hinaus – beispielsweise für strukturierte Abfragen und Dokumentationsprozesse in Confluence. An solchen Anwendungen führt aus meiner Sicht kein Weg mehr vorbei. Im Vergleich zu anderen Modellen halte ich ChatGPT aktuell für besonders leistungsfähig. Gleichzeitig nutzen wir auch Gemini und planen, Claude verstärkt einzusetzen. Insbesondere die Claude-Anwendung CoWork überzeugt bei der datenbasierten Auswertung, etwa in Verbindung mit Excel.

Haben Sie auch eigene Tools entwickelt? 

Ja. Die S-Com hat inzwischen einen eigenen Chatbot entwickelt, der verschiedene KI-Modelle wie ChatGPT und Gemini integriert. Darüber hinaus haben wir ein eigenes RAG-System aufgebaut, das unternehmensinterne Daten mit Large Language Models verknüpft. Der nächste Entwicklungsschritt sind agentenbasierte Anwendungen.

Gibt es KI-Tools, von denen Sie enttäuscht waren?

Ja, leider. Für die Werbewirkungsforschung hat unser RAG-System am Ende nicht zuverlässig genug funktioniert. Die Idee war, sämtliche Daten aus Trackings, Pre- und Posttests in einem System zu bündeln und daraus konkrete Optimierungsansätze für neue Kampagnen abzuleiten. In der Praxis wurden Abfragewerte jedoch nicht präzise wiedergegeben – etwa 32,5 statt 32,7 Prozent bei der Werbewirkung. Solche Abweichungen sind in unserem Kontext nicht akzeptabel. Nach anderthalb Jahren war es daher ein konsequenter Schritt, das Projekt zu beenden, auch wenn das Team darüber sehr enttäuscht war. Gleichzeitig haben sich technologisch neue Möglichkeiten ergeben, an die wir nun deutlich robuster anknüpfen können.

Bringen die KI Tools, die Sie jetzt im Einsatz haben, in erster Linie Effizienzvorteile? Oder liefern Sie auch Ergebnisse, die Sie mit menschlicher Arbeit nicht erhalten hätten?

Beim RAG-System hatte ich tatsächlich auf tiefere Insights gehofft – das hat in der Praxis jedoch nicht wie erwartet funktioniert. Ansonsten geht es in den meisten Anwendungsfällen um Effizienzgewinne. Wir erstellen heute in kurzer Zeit Briefings und Marktanalysen. Recherchen, für die wir früher mehrere Tage benötigt hätten, lassen sich mit Deep Research und Tools in rund 15 Minuten strukturiert aufbereiten. Auch Treiberanalysen setzen wir im Team inzwischen mit einem eigenen Custom GPT schnell und valide um. Das war vorher nicht möglich.

Qualitative Fortschritte hat man also vor allem durch Analysen, die ohne KI zu aufwendig wären. 

Genau. Die genannten Treiberanalysen hätten wir ohne KI entweder extern vergeben müssen oder wir hätten sie in dieser Form gar nicht umgesetzt.

Wie haben Sie es geschafft, beim Thema KI alle Teams mitzunehmen?

Das ist unserem Unternehmen insgesamt gut gelungen. Richtig Fahrt aufgenommen hat das Thema 2023. Als Grundlage war wichtig, allen Mitarbeitenden einen sicheren und geregelten Zugang zu KI-Systemen zu ermöglichen – auch um inoffizielle Parallelnutzungen zu vermeiden. In der Anfangsphase stand das Ausprobieren und gemeinsame Lernen im Vordergrund. Es gab regelmäßig unternehmensweite Workshops, in denen Tools vorgestellt und direkt getestet wurden. In meinem Team habe ich zusätzlich monatliche Sessions durchgeführt, jeweils mit konkreten Aufgaben bis zum nächsten Termin. Anschließend haben wir systematisch verglichen, welche Tools und Prompts zu welchen Ergebnissen geführt haben. In diesem Jahr liegt der Fokus klar auf der operativen Integration. Wir analysieren unsere Prozesse strukturiert und prüfen, an welchen Stellen KI echten Mehrwert im Arbeitsalltag schafft – und wo ihr Einsatz vielleicht auch nicht sinnvoll ist.

Wo geht es eher nicht?

Wir haben auch geprüft, ob sich das Reporting im Medienmonitoring agentenbasiert automatisieren lässt. Wir haben dann aber erkannt, dass das in diesem Fall nicht der sinnvollste Ansatz ist. Stattdessen setzen wir dort auf eine etablierte Microsoft-Power-BI-Lösung. Wir implementieren KI nicht um jeden Preis überall. Entscheidend ist, ob sie einen klaren Mehrwert gegenüber bestehenden, stabilen Lösungen bietet.

Wie verändert der KI-Einsatz die Organisation und die Struktur der Abteilung? Gibt es zum Beispiel Schnittstellen mit anderen Abteilungen, über die automatisiert Daten übertragen werden?

Eigentlich hat sich bislang noch nicht so viel verändert – aber die Automatisierung wird kommen. In der Praxis ist das allerdings komplexer, als wir anfangs angenommen hatten, deshalb sind wir aktuell etwas im Verzug. Geplant ist, dass grundsätzlich jeder Mitarbeitende im Unternehmen Automatisierungsketten bauen kann und dass Daten – etwa aus Tracking oder Social Listening – in der Abteilung breiter nutzbar sind. Technisch ist das auch über agentische Anwendungen möglich, zum Beispiel n8n. Langfristig könnten so beispielsweise Medienmonitoring-Daten automatisiert in einen PowerPoint-Report überführt werden: Neue Daten oder ein festes Datum dienen als Trigger, der den Workflow startet, und eine automatisierte Prozesskette anstößt. Sobald so ein Workflow stabil steht, können die Ergebnisse dann von relevanten Abteilungen direkt genutzt werden.

Was wäre ein typischer Use Case?

Wir erstellen regelmäßig Berichte auf Basis von Marktforschungs- und Medienmonitoring-Daten. Wenn beispielsweise eine einzelne Sparkasse wissen möchte, wie über sie in sozialen Medien gesprochen wird, analysieren wir diese Resonanz strukturiert und bereiten die Ergebnisse auf. Solche Reports – ebenso wie Auswertungen zur aktuellen Wahrnehmung einer Werbekampagne – lassen sich perspektivisch weitgehend automatisiert erstellen, wobei die Analyse weiterhin Human-in-the-Loop erfordert.

Hat sich die Arbeit mit externen Dienstleistern verändert? Ist der Pool größer oder kleiner geworden?

Man könnte annehmen, dass unser externer Partnerpool kleiner geworden ist, weil wir durch KI mehr Projekte und Analysen intern abbilden können. Tatsächlich ist er eher gewachsen, da wir zusätzlich neue Ansätze und Anbieter testen und Dinge auszuprobieren. So setzen wir beispielsweise Tools für KI-gestützte Pretests ein. Diese ersetzen jedoch nicht unsere klassischen Testverfahren. Jede Werbekampagne wird weiterhin klassisch getestet. KI liefert uns schnelle, zusätzliche Erstindikationen, die wir in dieser Form zuvor nicht hatten – sie ersetzt aber nicht das valide Feedback realer Zielgruppen. Das gilt ebenso für unser monatliches Marken-Tracking, das wir weiterhin in klassischer Form durchführen.

Wie gestaltet sich nun der Einsatz von KI betriebswirtschaftlich? Sparen Sie unterm Strich Kosten ein?

Bislang noch nicht. Wir befinden uns klar in einer Investitionsphase. Unternehmen – und damit auch einzelne Abteilungen – müssen zunächst gezielt in KI-Strukturen investieren. Dazu gehören insbesondere Entwicklerressourcen, die uns bei der Umsetzung konkreter Use Cases unterstützen. Parallel investieren wir bewusst in Pilotprojekte und Forschungsideen, um systematisch zu lernen und tragfähige Anwendungen zu identifizieren. Die Effizienzgewinne werden sich mittel- bis langfristig zeigen, davon bin ich überzeugt. Gleichzeitig ist klar: KI ist heute im Wettbewerb kein optionales Thema mehr.

Inwiefern verändern sich vor diesem Hintergrund die Anforderungen an die Mitarbeitenden und auch an neue Bewerberinnen und Bewerber? Sind jetzt vor allem Technik-affine Menschen gefragt?

Eine Data Scientistin oder ein Data Scientist im Team wäre eine sehr sinnvolle Ergänzung und würde unsere analytischen Möglichkeiten deutlich erweitern. Gleichzeitig bleibt es zentral, KI-Ergebnisse fachlich einordnen und in die Organisation übersetzen zu können. Dafür braucht es weiterhin die klassischen Kompetenzen der Marktforschung – insbesondere Ergebnisse kritisch zu prüfen. Unstimmigkeiten oder Widersprüche in Daten müssen erkannt und hinterfragt werden. Aber mir ist auch wichtig, dass potenzielle, neue Mitarbeitende offen gegenüber neuen Technologien sind und Lust haben, KI zu nutzen und auszuprobieren.

Schauen wir noch in die Zukunft: Wie stehen Sie zum heiß diskutierten Thema synthetische Daten? Wird man in Zukunft nicht mehr so viele Menschen befragen müssen wie heute?

Synthetische Befragungsdaten können in bestimmten Anwendungsfeldern sinnvoll sein. Das gezielte Ergänzen realer Stichproben durch synthetische Daten wird aus meiner Sicht ein relevanter nächster Entwicklungsschritt in der Marktforschung sein. Aber ich sehe ihren Einsatz aktuell noch nicht in allen Bereichen als sinnvoll und belastbar an. Bei politischen Fragestellungen bin ich beispielsweise zurückhaltend, da aktuelle Ereignisse Meinungen sehr kurzfristig und teils erheblich verändern können. Solche Dynamiken lassen sich über Trainingsdaten nur eingeschränkt abbilden. Hinzu kommt, dass synthetische Daten systembedingt Verzerrungen enthalten können, etwa durch Über- oder Unterrepräsentation bestimmter Gruppen. Auch bei der Bewertung von Innovationen bleibt für mich reales, menschliches Feedback aktuell noch unverzichtbar.

Es wird ja unter anderem an der Stanford University daran gearbeitet, mit Hilfe sehr ausführlicher Interviews mit realen Personen deren Wertewelt und Haltungen so umfassend zu eruieren, dass die Daten auch für komplett neue Fragestellungen verwendet werden können.

Das ist ein sehr interessanter Ansatz. Wenn sich die Nachbildung menschlicher Entscheidungsfindung gut abbilden lässt, auch auf breiterer Basis, wäre das für Marktforschung ein großer Mehrwert.

Die Fragen stellte Klaus Janke