Für Umfragen mit nicht-probabilistischen Stichproben.
Dieser Artikel ist all den Orchestern gewidmet,
die bereits an meiner internationalen Umfrage teilgenommen haben. Ein riesiges Dankeschön!
Ich werde mein Versprechen halten und Ihnen die Ergebnisse zuschicken.
Allerdings steckt dahinter erheblich mehr Arbeit, als man zunächst vermuten würde.
Viele von uns haben schon einmal eine Bachelor- oder Masterarbeit geschrieben oder standen einfach vor einer Frage, auf die wir keine Antwort hatten. Und irgendwann kam uns die Idee, eine Umfrage zu starten. Um Informationen zu sammeln, einem Thema auf den Grund zu gehen, eigene Beobachtungen zu überprüfen oder auch mit anderen Fachleuten aus der Branche in Kontakt zu kommen.
Heutzutage scheint es angesichts der vielen verfügbaren digitalen Werkzeuge, von denen manche sogar kostenlos sind, ziemlich einfach, eine Umfrage auf die Beine zu stellen.
Oder vielleicht doch nicht.
Zum einen ist alles rund um E-Mail-Kampagnen erheblich komplizierter geworden. Wir erhalten so viele Werbenachrichten, dass es immer schwieriger wird, eine wirklich interessante Mitteilung von einem weiteren Verkaufsversuch zu unterscheiden. Auf WhatsApp auszuweichen, löst das Problem auch nicht unbedingt. Wir bekommen weiterhin Hunderte von Nachrichten – und irgendwo dazwischen taucht unsere Umfrage auf.
Zum anderen bitten wir jemanden, der uns gar nicht kennt, einen Teil seiner Zeit für einen Fragebogen zu opfern, ohne dafür einen unmittelbaren Nutzen zu haben. Das erinnert doch sehr an Kaltakquise. Und die Aussichten auf eine rege Teilnahme sind nicht immer ermutigend.
Seit einigen Monaten arbeite ich nun an meiner internationalen Umfrage zur Unternehmensführung in Sinfonieorchestern. Mir wurde beispielsweise eine Rücklaufquote von 1 % vorausgesagt. Das ist selbstverständlich keine allgemeingültige statistische Regel, aber doch eine ziemlich ernüchternde Prognose, wenn man im Begriff ist, Hunderte von Organisationen anzuschreiben. In meinem Fall Orchester auf der ganzen Welt.
So interessant unser Thema auch sein mag: Die Sache sieht nicht gerade vielversprechend aus.
Seit Jahren beschäftige ich mich mit der Funktionsweise dieser Organisationen und wollte mehr erfahren: meine Informationsquellen über Europa hinaus erweitern und andere Organisationsrealitäten kennenlernen. Da lag es nahe, irgendwann über eine Umfrage nachzudenken.
Das wäre wohl mein erster Rat an alle, die selbstständig eine Umfrage durchführen möchten.
Eine Umfrage beginnt nicht damit, dass wir Google Forms oder ein anderes digitales Werkzeug öffnen. Sie beginnt viel früher: wenn wir festlegen, was wir untersuchen wollen, weshalb wir diese Informationen benötigen und was wir anschließend mit den Antworten anfangen möchten.
Klingt selbstverständlich, ist es aber nicht immer. Ich habe über ein Jahr damit verbracht, die Fragen zu entwickeln und zu verfeinern. Gemeinsam mit mehreren Kolleginnen und Kollegen aus der Branche habe ich sie überprüft und besprochen, um sicherzustellen, dass sie verständlich, relevant und eindeutig sind.
Außerdem müssen wir festlegen, wen wir überhaupt befragen möchten. Es ist schließlich ein Unterschied, ob wir die Verantwortlichen kleiner Kulturvereine oder die Führungskräfte großer Institutionen befragen. Ebenso wenig können wir Menschen mit unterschiedlichen Aufgaben und entsprechend unterschiedlichen Kenntnissen einfach dieselben Fragen stellen.
Je sorgfältiger wir unsere Ansprechpartner auswählen, desto leichter fällt es ihnen, die Fragen zu beantworten, und desto größer ist die Wahrscheinlichkeit, einen ausgefüllten Fragebogen zurückzubekommen. Bei meiner Umfrage sind beispielsweise Personen aus dem künstlerischen Bereich nicht unbedingt die geeignetsten Adressaten. Vielleicht kennen sie die Antworten, aber ich gehe davon aus, dass ich die gesuchten Informationen eher von Geschäftsführungen, Technischen Direktionen sowie Verantwortlichen für Verwaltung oder Finanzen und ähnlichen Positionen erhalte.
Dann folgt die Gestaltung des Fragebogens. Die Fragen müssen verständlich und neutral formuliert sein und sinnvolle Antwortmöglichkeiten bieten. Wir sollten vermeiden, bestimmte Antworten nahezulegen, die Themen logisch ordnen und vor dem Versand überprüfen, ob das Formular einwandfrei funktioniert.
Und vor allem müssen wir das verwendete digitale Werkzeug gut kennen. Wie bereits erwähnt, hat es bei mir fast ein Jahr gedauert, bis der Fragebogen online richtig funktionierte. Zugegeben, wir hatten es auch nicht besonders eilig. Aber die drei Sprachversionen mussten miteinander verknüpft werden. Also eine einzige dreisprachige Umfrage statt drei voneinander unabhängiger Umfragen.
All das kostet Zeit. Besonders dann, wenn uns weder ein Forschungsinstitut noch eine Studienabteilung oder ein Team von Mitarbeitenden zur Seite steht.
Das bedeutet aber nicht, dass man als unabhängige Person keine nützliche und fundierte Untersuchung durchführen kann. Es bedeutet nur, dass wir unsere Grenzen kennen und methodisch vorgehen müssen.
Dreißig Fragen. Sage und schreibe.
Mein Fragebogen umfasst nicht weniger als 30 Fragen.
Jeder Umfrageexperte könnte mich warnen: zu viele Fragen. Ein kapitaler Fehler. Das wird doch niemand beantworten wollen.
Ja, ich weiß.
Aber ich untersuche ein vielschichtiges Thema, und zwar ziemlich gründlich. Eigentlich könnte ich Hunderte von Fragen stellen. Mindestens diese dreißig brauche ich, wobei fünf davon hauptsächlich dazu dienen, die Antworten einzuordnen und nach bestimmten Merkmalen auszuwerten.
Mit anderen Worten: Nicht jede Frage soll unmittelbar inhaltliche Informationen über die Unternehmensführung liefern. Manche sind notwendig, um zu verstehen, wer antwortet und in welchem organisatorischen Umfeld diese Person tätig ist.
Ich wollte den Fragebogen nicht so weit kürzen, dass er am Ende meine Forschungsziele gar nicht mehr erfüllt.
Entweder ich starte eine Umfrage, die für meine Untersuchung sinnvoll ist, oder ich lasse es gleich bleiben.
Und trotzdem blutet mir das Herz wegen der anderen siebzig Fragen, die ich liebend gern noch hinzugefügt hätte.
Natürlich hat ein langer Fragebogen seine Konsequenzen.
Je mehr Aufwand wir den Teilnehmenden zumuten, desto größer kann das Risiko sein, dass sie den Fragebogen vorzeitig abbrechen. Deshalb müssen wir neben der Anzahl der Fragen auch deren Komplexität, die tatsächlich benötigte Zeit und die Benutzerfreundlichkeit des Formulars berücksichtigen.
Ich habe mich dafür entschieden, alle dreißig Fragen beizubehalten, aber die Antwortmöglichkeiten so breit zu fassen, dass Menschen mit unterschiedlichen Aufgaben in der Unternehmensführung sie beantworten können, ohne erst Akten oder zusätzliche Unterlagen durchsehen zu müssen. Gleichzeitig sollte die Teilnahme nicht mehr Zeit als unbedingt nötig beanspruchen.
An wen schicken wir unsere Umfrage?
Sobald der Fragebogen steht, wartet die nächste Herausforderung: dafür zu sorgen, dass er bei den richtigen Menschen ankommt und diese sich mit etwas Glück auch zum Antworten entschließen.
Hier beginnt ein Teil der Arbeit, dessen Umfang häufig unterschätzt wird.
Es reicht nicht, eine Liste von Organisationen zusammenzustellen und irgendeine E-Mail-Adresse herauszusuchen. Zunächst müssen wir prüfen, ob die ausgewählten Einrichtungen tatsächlich zu der Grundgesamtheit gehören, die wir untersuchen wollen. Danach gilt es, innerhalb jeder Organisation die Person zu finden, die über das nötige Wissen verfügt, um unsere Fragen zu beantworten.
Das ist keineswegs eine Kleinigkeit.
Ein Beispiel: Hinter dem Begriff „Philharmonie“ verbirgt sich manchmal gar kein Orchester, sondern ein Konzertsaal oder ein Theater. Egal, wie viele Sprachen man spricht, auf den ersten Blick ist das nicht immer zu erkennen – zumal längst nicht alle Webseiten internationaler Orchester zumindest auf Englisch verfügbar sind. Und so kann es passieren, dass jemand zurückschreibt: „Wir sind kein Orchester, sondern ein Theater.“ In einem solchen Fall war die Dame, die meine Nachricht erhalten hatte, sogar so freundlich, mich direkt an die richtige Person weiterzuleiten. Des entsprechenden Orchesters, selbstverständlich.
In einer Kulturorganisation gibt es unter anderem künstlerische, administrative, kaufmännische und technische Abteilungen sowie Bereiche für Produktion, Kommunikation und Entwicklung. Die sichtbarste Person ist nicht unbedingt diejenige, die unsere Fragen am besten beantworten kann.
Ich selbst habe enorm viel Zeit darauf verwendet, Organisationen zu recherchieren, ihre Strukturen kennenzulernen und diejenigen Ansprechpartner ausfindig zu machen, die mir am geeignetsten erscheinen.
Und damit kommen wir zu einem Begriff, der immer wieder auftauchte, wenn ich mich beraten ließ, wie sich die Teilnahmebereitschaft verbessern ließe:
Personalisierung.
Aha. Aber was bedeutet es eigentlich, eine Umfrage zu personalisieren?
Personalisierung bedeutet nicht einfach, einen Namen einzusetzen
Vor allem nicht, wenn wir Hunderte von Menschen erreichen möchten.
In meinem Fall haben wir eine Arbeitsdatenbank aufgebaut – eine nicht-probabilistische Stichprobe – mit 551 verschiedenen Orchestern. Und 551 Ansprechpartnern.
Ja, ja. 551.
Nicht mehr. Höchstens ein Ansprechpartner pro Organisation.
Denn eines halte ich ganz sicher nicht für persönlich: denselben Fragebogen an alle Menschen zu schicken, die wir innerhalb einer Organisation finden können, in der Hoffnung, dass irgendjemand schon antworten wird.
Das habe ich nicht getan.
Ich habe pro Orchester einen Hauptansprechpartner ausgewählt und von Hand überprüft, dass keine Organisation doppelt vorkommt – auch dann nicht, wenn sie unterschiedliche Bezeichnungen oder Namen in mehreren Sprachen verwendet.
Diese Entscheidung hat auch einen methodischen Hintergrund. Wenn wir Organisationen untersuchen möchten, müssen wir zwischen der Anzahl der kontaktierten Personen und der Anzahl der in den Antworten vertretenen Einrichtungen unterscheiden. Fünf Fragebögen an dasselbe Orchester zu schicken, bedeutet schließlich nicht, Informationen von fünf verschiedenen Orchestern zu erhalten.
Das allein garantiert natürlich nicht, dass eine Organisation nicht doch zweimal antwortet. Aber es schafft eine geordnete und konsistente Kontaktbasis. Außerdem halte ich es für wenig wahrscheinlich, dass jemand den Link an fünf Kolleginnen oder Kollegen weiterleitet und alle bittet, ebenfalls teilzunehmen – und damit die Umfrageergebnisse zu verzerren. Wo es doch schon so schwer ist, überhaupt eine einzige Antwort zu bekommen!
Bei meiner Umfrage ist der Fragebogen außerdem nur über den Link zugänglich, und dieselbe E-Mail-Adresse kann nur einmal zur Beantwortung verwendet werden.
Ebenso wenig halte ich es für wirklich persönlich, allen exakt dieselbe Nachricht zu schicken.
Natürlich enthalten die Anschreiben Informationen, die sich zwangsläufig wiederholen. Ich werde die Erklärung meiner Untersuchung ja nicht fünfhundertmal neu erfinden.
Aber ich kann unterscheiden zwischen Menschen, mit denen ich bereits Kontakt hatte – auf einem Kongress, bei einer Besprechung, per E-Mail oder telefonisch – und solchen, an die ich mich zum ersten Mal wende.
Und wenn wir uns bereits kennen, erwähne ich das.
„Wir haben uns auf einem Kongress kennengelernt.“
„Herr/Frau … hat mir freundlicherweise Ihre Kontaktdaten gegeben.“
„Wir haben vor einiger Zeit gemeinsam an einer Besprechung teilgenommen.“
Kleine Details, die aus einer vermeintlichen Massenmail eine persönliche Einladung machen.
Außerdem habe ich sowohl den Fragebogen als auch die Begleitkommunikation auf Spanisch, Englisch und Deutsch vorbereitet. Ich gestehe, dass ich die französische Fassung, die im ersten Entwurf der Fragen noch vorgesehen war, letztlich nicht verwendet habe. Eine internationale Umfrage muss sprachliche Hürden berücksichtigen, auch wenn eine Übersetzung allein noch lange nicht garantiert, dass alle Fragen überall genau gleich verstanden werden.
Ich weiß. Inzwischen klingt das nach ziemlich viel Arbeit.
Auch die Nachverfolgung gehört zur persönlichen Ansprache
Ein weiterer Punkt ist für mich besonders wichtig: die Zeit der Menschen zu respektieren, die wir um Unterstützung bitten.
Meine Ansprechpartner sollen schließlich nicht jede Woche mit Nachrichten von mir bombardiert werden.
Zwischen der ersten Einladung und der Erinnerung habe ich mindestens acht Wochen verstreichen lassen, in vielen Fällen sogar erheblich mehr.
Und ich habe nicht vor, endlos Erinnerungen zu verschicken. Eine einzige Erinnerung. Schluss.
Wenn jemand sich gegen eine Teilnahme entschieden hat, respektiere ich das. Ich werde nicht alle zwei Monate erneut schreiben, bis die Person schließlich antwortet – und sei es nur, um mich zu bitten, sie endlich in Ruhe zu lassen.
Alle Aussendungen habe ich in kleinen Chargen organisiert, normalerweise mit etwa zwanzig Nachrichten pro Tag.
So kann ich jede Fehlermeldung bei der Zustellung einzeln prüfen, kontrollieren, ob E-Mail-Adressen noch gültig sind, und denjenigen persönlich antworten, die mir schreiben – auch wenn sie nicht an der Umfrage teilnehmen.
Außerdem dokumentiere ich die kontaktierten Organisationen, die Empfänger, aufgetretene Probleme und die durchgeführten Nachfassaktionen.
Das ist wahrlich nicht der spannendste Teil einer Untersuchung, aber unerlässlich, wenn man den Überblick behalten möchte.
Hinter jeder E-Mail-Adresse steckt ein Mensch
Eine der interessantesten Erfahrungen der vergangenen Monate war die Erkenntnis, wie sehr eine Umfrage auch dazu beitragen kann, berufliche Kontakte zu knüpfen.
So habe ich mehrfach automatische Abwesenheitsnotizen erhalten, in denen ein Rückkehrdatum genannt wurde, das bereits Wochen oder sogar Monate zurücklag. Ich habe den betreffenden Personen geschrieben, um sie darauf hinzuweisen, dass sie vermutlich vergessen hatten, ihre automatische Antwort abzuschalten. Eine kleine Geste, die nichts damit zu tun hat, eine Antwort auf meine Umfrage zu bekommen, aber sehr wohl damit, den Menschen auf der anderen Seite wahrzunehmen.
Ich habe auch Antworten bekommen, in denen man mir mitteilte, meine Umfrage sei absolut uninteressant. Für einen kurzen Moment, das gebe ich zu, hat mich das ein wenig getroffen. Aber gleich darauf dachte ich: Dieser Mensch hat sich immerhin die Mühe gemacht, mir zu antworten, statt meine Nachricht einfach zu ignorieren. Also habe ich mich für die Rückmeldung bedankt und meine Hilfe angeboten, falls ich irgendwann etwas beitragen könnte. Denn auch eine Absage verdient Respekt und Dankbarkeit.
Nebenbei habe ich auch von Stellenwechseln, neuen Zuständigkeiten und Organisationsstrukturen erfahren, die mir bisher unbekannt waren.
Sogar ein Gespräch mit jemandem kam zustande, der einen meiner Blogartikel gelesen hatte und mich bat, einen Link zu einem thematisch passenden Produkt einzufügen. Ich habe mir den Vorschlag angesehen und der Bitte entsprochen, weil ich ihn sinnvoll fand.
Eine E-Mail führt zur nächsten. Eine Webseite zur anderen. Eine Person erwähnt eine weitere.
Und nach und nach fügen sich die Teile wie bei einem Puzzle zusammen.
Wann ist eine Umfrage zu Ende?
Eine weitere Frage, die mir gestellt wurde, lautet: Bis wann kann man teilnehmen? Die Entscheidung, eine Umfrage zu schließen, sollte sich nach der Abdeckung der Zielgruppe, der Beteiligung und der Durchführbarkeit der Auswertung richten. Für meine Umfrage steht derzeit noch kein endgültiger Schlusstermin fest.
Vorläufig denke ich an Dezember 2026.
Erinnerungen, Antworten und einige Überraschungen
Zurzeit befinde ich mich in der ersten Phase der Nachverfolgung und verschicke Erinnerungen an dieselben Personen, die bereits die ursprüngliche Einladung erhalten haben. Für eine zweite Phase überlege ich, andere Ansprechpartner innerhalb derselben Organisationen anzuschreiben – mit einer neuen Einladung, nicht mit einer Erinnerung. Natürlich wieder persönlich formuliert.
Übrigens haben zu meiner Überraschung trotz der anonymen Durchführung recht viele Teilnehmende freiwillig ihre E-Mail-Adresse angegeben, weil sie die Ergebnisse der Untersuchung erhalten möchten. Offenbar bin ich nicht die Einzige, die an den Ergebnissen interessiert ist.
Selbstverständlich werden Informationen, anhand derer Teilnehmende direkt oder indirekt identifiziert werden könnten, niemals weitergegeben. Anonymität und Vertraulichkeit sind Verpflichtungen, die auch bei der Veröffentlichung der Ergebnisse gelten.
Technik hilft. Aber sie nimmt uns die Arbeit nicht ab
Für meine Umfrage habe ich mich gegen Google Forms und ähnliche Angebote entschieden und stattdessen ein kostenpflichtiges Plugin gewählt, das in meine eigene Webseite eingebunden ist. Mir war wichtig, dass die Teilnehmenden sehen können, wer sie um Informationen bittet, meinen Lebenslauf lesen und einen Eindruck davon gewinnen können, wie ich denke und arbeite. Das erschien mir wichtig, um zumindest ein Mindestmaß an Vertrauen aufzubauen. Mit anderen Worten: Ich bin kein Roboter!
Was zunächst nach einer recht einfachen digitalen Lösung aussah, entwickelte sich zu einem weiteren kleinen Projekt. Am Ende musste ich einen IT-Fachmann hinzuziehen – natürlich ebenfalls gegen Bezahlung –, weil es mir einfach nicht gelang, den dreisprachigen Fragebogen selbst richtig einzurichten.
Allein das dauerte mehrere Monate.
Und dabei sind die Werkzeuge für den Versand, die Datenbanken, die Erinnerungen und die Bearbeitung von Problemen noch gar nicht mitgerechnet.
Die Technik erleichtert die Arbeit ungemein. Aber sie ersetzt weder die vorherige Recherche noch die Auswahl der Adressaten oder die individuelle Kontrolle der Kontakte.
Wir müssen immer wachsam bleiben, damit die Technik am Ende nicht genau das Gegenteil von dem tut, was wir eigentlich erreichen wollten.
In diesem Zusammenhang interessiert Sie vielleicht mein Artikel über künstliche Intelligenz vom August 2026, Haben Sie das geschrieben – oder Ihre KI?, KI war mir bei diesem Prozess natürlich eine große Hilfe. Allerdings muss man ihre Arbeit auch ständig kontrollieren – fast wie bei einem kleinen Kind.
Manchmal treibt sie mich zur Weißglut.
Was macht eine Umfrage erfolgreich?
Ich werde meine Umfrage als Erfolg betrachten, wenn ich eine Rücklaufquote von mindestens 5 % erreiche und sich die Beteiligung über einen guten Teil der angeschriebenen Regionen und Organisationstypen erstreckt. So kann ich die Fragen aus unterschiedlichen Perspektiven betrachten. Und vor allem ist für mich jede Person, jedes Orchester, das Interesse an den Ergebnissen zeigt, bereits ein grosser Erfolg.
Während der Weihnachtsferien möchte ich mit der Datenauswertung und der Erstellung des Abschlussberichts beginnen. Ob ich diesen Zeitplan tatsächlich einhalten kann, weiß ich allerdings noch nicht.
Eine wirklich persönlich gestaltete Umfrage durchzuführen, ist erheblich aufwendiger, als ich gedacht hatte. An manchen Tagen finde ich es ziemlich mühsam, Nachrichten zu sortieren, Datenbanken zu aktualisieren, Probleme zu lösen – und nach all der Arbeit nur sehr wenige neue Antworten zu erhalten.
Aber ich mache weiter.
Denn die Rücklaufquote liegt inzwischen bei rund 4,8 % und damit deutlich über den ursprünglich prognostizierten 1 %. Und weil die Ergebnisse langsam wirklich interessant werden.
Ich habe Antworten aus verschiedenen Teilen der Welt erhalten. Ich gestehe: Schon der Blick auf die Karte mit den Herkunftsorten macht mich glücklich.
Die Ergebnisse teilen
Wer seine E-Mail-Adresse angegeben hat, erhält die Ergebnisse und die entsprechend anonymisierten Umfragedaten, um eigene Schlussfolgerungen daraus ziehen zu können. Die Auswertung und der Abschlussbericht werden in meinem Blog oder in einer anderen Veröffentlichung zugänglich sein. Näheres werde ich noch bekannt geben.
Und bis dahin: Danke!
Ich wollte diesen Artikel mitten im laufenden Prozess schreiben, um meine Erfahrungen zu teilen und vor allem all jenen zu danken, die sich, ohne mich zu kennen, einige Minuten Zeit genommen haben, meinen Fragebogen auszufüllen. Ebenso denen, die sich die Mühe gemacht haben, mir per E-Mail zu antworten – auch wenn es nur war, um mir mitzuteilen, dass sie nicht teilnehmen können.
Und ich muss mich auch bei den Leserinnen und Lesern meines Blogs entschuldigen, den ich 2026 bisher sträflich vernachlässigt habe. Ich lebe noch!
Ich weiß, wie schwer es ist, fremde Menschen um Unterstützung zu bitten. Deshalb versuche ich auch immer zu helfen, wenn an meinem eigenen Arbeitsplatz eine Anfrage eintrifft, die meiner Umfrage ähnelt.
Denn hinter jeder Umfrage steht jemand, der Antworten sucht. Und hinter jedem ausgefüllten Fragebogen ein Mensch, der sich entschieden hat, ein wenig seiner Zeit dafür herzugeben.
Und das verdient ein riesiges „Dankeschön“.
Nicole Martín Medina
Las Palmas de Gran Canaria
Oktober 2026
(Original Spanisch, Übersetzung ChatGPT, Revision NMM)
*****
Weiterführende Informationen zu Umfragen
Wer sich näher mit der Gestaltung, Methodik und Auswertung von Umfragen beschäftigen möchte, findet bei der American Association for Public Opinion Research (AAPOR) und bei ESOMAR, der internationalen Organisation für Markt-, Meinungs- und Datenforschung, Veröffentlichungen und Empfehlungen. Beide bieten Informationen und Orientierung zu bewährten Verfahren, methodischer Qualität und einem verantwortungsvollen Umgang mit Daten. Links: American Association for Public Opinion Research (AAPOR) · ESOMAR
A través de este blog, busco crear un espacio para el debate y la difusión de información sobre una amplia variedad de temas, que abarcan desde la gestión cultural hasta el derecho, la gestión empresarial -particularmente en las orquestas sinfónicas- y los idiomas. Compartiré mis experiencias y perspectivas personales, siempre con un toque de ironía y una sonrisa. Aunque la mayoría de las publicaciones estarán en español, también podría escribir en alemán o inglés, dependiendo del tema y del público al que quiero dirigirme.