Zu den häufigsten Aufträgen, die in letzter Zeit bei mir eintrudeln, gehört die Programmierung von Fragebögen für Online-Befragungen. Der Fragebogen selbst ist in den meisten Fällen schon fertiggestellt, und soll nur noch ansprechend für das Internet umgesetzt werden.
Immer wieder ertappe ich mich dann dabei, wie ich die Fragen während der Programmierung noch einmal umformuliere – und dann am Ende den Kunden anrufe und ihn darum bitte, die Fragen nochmal mit ihm durchgehen zu können, um irreführende Formulierungen zu entfernen. In der Regel hängen die Kunden am Anfang oft ein wenig an ihren Formulierungen, lassen sich dann aber meistens dazu überreden, doch noch das eine oder andere Wort zu ändern.
Einer der typischen Fehler in Fragebögen sind viel zu allgemeine Formulierungen wie zum Beispiel „Was halten Sie vom Umweltschutz?“ oder „Wie stehen Sie zum Thema Politik?“.
Wenn man sich einmal die Frage „Was halten Sie vom Umweltschutz?“ ansieht, wird schnell klar, dass die Frage so allgemein formuliert ist, dass jeder Proband sich den Bezugsrahmen selbst wählen kann. Vorstellbar wäre beispielsweise, dass Proband A die Frage auf den Bezugsrahmen „Umweltschutz in der Politik“ bezieht, während Proband B eher an „Umweltschutz in der eigenen Familie“ denkt.
Unterschiedliche Probanden werden daher bei einer so gestellten Frage jeweils vor einem anderen Hintergrund antworten. Damit macht man natürlich automatisch einen Fehler, wenn man die Antworten nach Ende der Befragung gemeinsam auswertet – denn da die Probanden den Bezugsrahmen zur Beantwortung der Frage selbst wählen konnten, haben sie im Grunde auf unterschiedliche Fragen geantwortet. Weil man den Bezugsrahmen in der Regel nicht kennt (da er nicht abgefragt wird), sind die gewonnenen Daten mehr oder weniger wertlos.
Allgemeine Fragestellungen wie „Was halten Sie vom Umweltschutz?“ sind daher nur für solche Befragungen geeignet, deren Ziel es ist, etwas über die Mechanismen hinter der Wahl des Bezugsrahmens bei Probanden unterschiedlicher demographischer Gruppen zu erfahren, wobei die allgemeine Eingangsfrage dann durch weitere Fragen zum Bezugsrahmen ergänzt werden muss.
Für alle „normalen“ Befragungen aber gilt, dass jede Frage immer so gestellt werden sollte, dass Probanden wenig Interpretationsspielraum haben. Denn nur wenn eindeutig formuliert wird, kann man wissen, auf welche Frage wirklich geantwortet wurde...
Immer wieder ertappe ich mich dann dabei, wie ich die Fragen während der Programmierung noch einmal umformuliere – und dann am Ende den Kunden anrufe und ihn darum bitte, die Fragen nochmal mit ihm durchgehen zu können, um irreführende Formulierungen zu entfernen. In der Regel hängen die Kunden am Anfang oft ein wenig an ihren Formulierungen, lassen sich dann aber meistens dazu überreden, doch noch das eine oder andere Wort zu ändern.
Einer der typischen Fehler in Fragebögen sind viel zu allgemeine Formulierungen wie zum Beispiel „Was halten Sie vom Umweltschutz?“ oder „Wie stehen Sie zum Thema Politik?“.
Wenn man sich einmal die Frage „Was halten Sie vom Umweltschutz?“ ansieht, wird schnell klar, dass die Frage so allgemein formuliert ist, dass jeder Proband sich den Bezugsrahmen selbst wählen kann. Vorstellbar wäre beispielsweise, dass Proband A die Frage auf den Bezugsrahmen „Umweltschutz in der Politik“ bezieht, während Proband B eher an „Umweltschutz in der eigenen Familie“ denkt.
Unterschiedliche Probanden werden daher bei einer so gestellten Frage jeweils vor einem anderen Hintergrund antworten. Damit macht man natürlich automatisch einen Fehler, wenn man die Antworten nach Ende der Befragung gemeinsam auswertet – denn da die Probanden den Bezugsrahmen zur Beantwortung der Frage selbst wählen konnten, haben sie im Grunde auf unterschiedliche Fragen geantwortet. Weil man den Bezugsrahmen in der Regel nicht kennt (da er nicht abgefragt wird), sind die gewonnenen Daten mehr oder weniger wertlos.
Allgemeine Fragestellungen wie „Was halten Sie vom Umweltschutz?“ sind daher nur für solche Befragungen geeignet, deren Ziel es ist, etwas über die Mechanismen hinter der Wahl des Bezugsrahmens bei Probanden unterschiedlicher demographischer Gruppen zu erfahren, wobei die allgemeine Eingangsfrage dann durch weitere Fragen zum Bezugsrahmen ergänzt werden muss.
Für alle „normalen“ Befragungen aber gilt, dass jede Frage immer so gestellt werden sollte, dass Probanden wenig Interpretationsspielraum haben. Denn nur wenn eindeutig formuliert wird, kann man wissen, auf welche Frage wirklich geantwortet wurde...
Keine Kommentare:
Kommentar veröffentlichen