Das Taxi-Problem

Im "Frischen Wind", meinem Blog auf Scienceblogs.de, gibt es einen brandneuen Artikel zum "Taxi-Problem" (Satz von Bayes). Wer sich für das Rechnen mit bedingten Wahrscheinlichkeiten interessiert, kann ja mal hineinschauen. Für weitere Statistik-Artikel fehlt mit leider momentan die Zeit, ich gelobe aber feierlich, dass sich dieser Blog im neuen Jahr wieder deutlich mit Leben füllen wird.

Zwei Jahre Statistikberatung Reinboth

Zwei Jahre ... so lange ist es schon her, dass ich mit dem etwas unkonventionellen Vorhaben gestartet bin, mich als freiberuflicher Consultant in Sachen Statistik und Marktforschung zu betätigen – und erfreulicherweise hat sich das Projekt mittlerweile so gut entwickelt, dass mit etlichen weiteren Jahren der freiberuflichen Nebentätigkeit wohl gerechnet werden kann.

Eine der besten Entscheidungen in diesen zwei Jahren ist die Eröffnung dieses Blogs gewesen. Wer hier in den letzten Monaten einmal vorbeigesurft ist, wird allerdings vermutlich eher zu einer gegenteiligen Einschätzung gelangt sein, denn ein wenig „verlassen“ sieht der Blog schon seit einer ganzen Weile aus – nicht einmal neue Folgen des NSDStat-Kurses, der sich nach wie vor sehr hoher Zugriffszahlen erfreut, habe ich in den letzten Monaten schreiben können.

Dies hat viele Gründe – enorm viele Aufträge sowie etliche neue Projekte bei der HarzOptics GmbH, meine Bloggerei im „Frischen Wind“ und im HarzOptics-Blog... Letzten Endes sind dies alles aber nur schlechte Ausreden, denn der Statistik-Blog hat sich als Markting-Instrument sowie als Plattform zur Knüpfung vieler großartiger Branchenkontakte sehr gut bewährt – den Blog also einfach „verkümmern“ zu lassen, ist also mit Sicherheit keine gute Option.

Aus diesem Grund hier der wichtigste Vorsatz fürs dritte Geschäftsjahr: Es soll wieder mehr gebloggt werden – über spannende Entwicklungen in der Marktforschung, über die alltäglichen Aufgaben eines Statistik-Consultants und natürlich auch über die Arbeit mit NSDStat. Ich hoffe, dass es mir gelingt, diesen Vorsatz in den nächsten Wochen und Monaten auch umzusetzen – auf dass ich beim dritten Betriebsjubiläum weiter steigende Blog-Zugriffszahlen verkünden und mich über etliche hier gewonnene Kontakte zu Kunden und Kollegen freuen kann.

Statista - der neue Statistik-Service im Internet

Mit Statista wurde ein neuer Statistik-Service im Netz gestartet, der filterbare Grafiken zur Einbindung in Blogs und andere Webseiten anbietet. Die Webseite, deren Macher laut Eigenauskunft ein "Wikipedia für Statistiken" planen, gefällt mir persönlich auf jeden Fall sehr gut - ein Urteil, dem sich auch die Online-Redaktion des SPIEGEL anschließt. Die angebotenen Daten stammen ausschließlich aus seriösen Quellen - hauptsächlich von Allensbach, DIW, GESIS und DeStatis - und lassen sich grafisch aufbereitet in Form von Balkendiagrammen mittels eines kleinen JavaScript-Codesegments in Blogs und HTML-Seiten einbinden (vergleichbar etwa mit der Einbindung von YouTube-Videos).

Für Blogspot-Nutzer ist Statista allerdings (noch) ungeeignet, da sich die Ausgabegröße der Grafiken nicht reduzieren lässt. Die Breite von 510 Pixeln wird stattdessen durch Statista vorgegeben, was natürlich bedeutet, dass die Grafiken überall dort, wo weniger Platz vorhanden ist, nur teilweise oder mit "zerschossenem" Layout eingebunden werden können (In meinem Zweitblog bei ScienceBlogs hat es dagegen einwandfrei funktioniert). Dienste wie Widgetbox zeigen, dass eine Skalierbarkeit auch von komplexen, grafischen JS-Applikationen durchaus möglich ist, so dass ich mir hier noch ein wenig "Nacharbeit" von Seiten der Statista-Macher wünschen würde.

Aus Sicht des Marktforschers hat die Statista-Nutzung auch noch einen weiteren (größeren) Pferdefuß, der hier ebenfalls nicht verschwiegen werden soll. Denn obwohl natürlich häufig (nach Augenschein) signifikante Zusammenhänge vermutet werden können, beschränkt sich Statista auf die reine Ausgabe von Grafiken und bietet keinerlei inferenzstatistische Verfahren zur Überprüfung vermeintlicher Signifikanzen an - und auf die Originaldaten hat man (natürlich) ebenfalls keinen Zugriff. Tests sind somit ausgeschlossen, die (nicht selten subjektive) Interpretation der Grafiken rückt damit in den Vordergrund.

Alles in allem also doch wieder nur ein neues Grafik-Spielzeug? In gewisser Weise schon - aber zumindest das beste und unterhaltsamste, das mir im WWW bisher untergekommen ist. Vor allem die Auswahl an verfügbaren Datensätzen von Einkommen über Migration, Internetnutzung, politische Einstellungen und Gesundheit bis hin zu Markenbekanntheit ist enorm - und eine Quellenangabe ist zu jeder Statistik vorhanden. Dies macht Statista zu einem großartigen Recherchetool für Befragungsdaten aller Art - und sollte das Konzept der Seitenbetreiber aufgehen, ist ja auch nicht auszuschließen, dass T-Test und Chi²-Statistik irgendwann noch nachgeliefert werden.

YouTube – ein Marktforschungs-Tool?

Seitdem die YouTube-Benutzeroberfläche um das neue Statistik-Tool „Insight“ erweitert wurde, mehren sich die Ansagen aus dem Bereich der Markt- und Meinungsforschung, YouTube künftig als Plattform für Fokusgruppen einsetzen zu wollen.

Dahinter steckt der Gedanke, dass Werbetreibende, die entweder Online-Kampagnen fahren oder TV-Kampagnen im Netz testen (was aufgrund der niedrigen Auflösung der YouTube-Filme aber eher selten vorkommt), das Verhalten der Zuschauer nun genauer evaluieren können. Neben der Information, wie häufig jeder Film aufgerufen wurde – die allerdings auch schon vor „Insight“ verfügbar war – lässt sich beispielsweise ermitteln, aus welcher geographischen Region die Zuschauer stammen. Für einen Werbetreibenden bedeutet dies, dass sich (in gewissen Grenzen) nachvollziehen lässt, wo die Kampagnen am besten und wo sie am schlechtesten „ankommen“.

Für den Marktforscher auf jeden Fall eine interessante Sache, obgleich es durchaus einige Features mehr gebraucht hätte, um „Insight“ zu einem echten Marktforschungs-Tool zu machen. Beispielsweise die Information, in wie viel Prozent aller Video-Aufrufe der Werbespot auch bis zum Ende abgespielt wurde, bzw. in wie vielen Fällen die Betrachtung vorzeitig abgebrochen wurde – und auch diese Information natürlich geographisch verteilt. Oder wie viele der Video-Aufrufe tatsächlich von unterschiedlichen IP aus erfolgten, bzw. wie viel Prozent der Aufrufe auf das Konto von Zuschauern gehen, die sich den Film mehrfach ansehen (was ja nicht unbedingt schlecht sein muss, da es Rückschlüsse auf die Beliebtheit zulässt). Wichtig wäre es auch zu erfahren, wie viele der Zuschauer den Film auf der YouTube-Seite selbst gesehen haben, und wie viele Aufrufe von „embedded videos“ über dritte Seiten es gab – und welche Seiten dies waren.

All das und noch viel mehr wünscht sich das Marktforscher-Herz. Dass es Google gelingt, einen solch umfangreichen Service zum Nulltarif auf die Beine zu stellen, kann man jedoch sicher nicht erwarten, wobei ich die Voraussage wage, dass sich bei entsprechend umfangreichem Angebot an Informationen durchaus auch zahlungswillige Werbetreibende finden lassen würden. Insgesamt also noch kein ganz großer Sprung, aber auf jeden Fall ein interessantes Feature, mit dem die Palette der für einen Online-Werbeauftritt wichtigen „Webstatistiken“ erneut erweitert wird. Google hat übrigens bereits angekündigt, „Insight“ in den nächsten Monaten um zusätzliche Statistiken erweitern zu wollen – man darf / kann also weiterhin gespannt sein.

Die NPD glaubt nicht an Meinungsforschung....

...jedenfalls nicht dann, wenn die eigene Partei nicht gut abschneidet. Dies ist jedenfalls einer Pressemitteilung vom vergangenen Freitag zu entnehmen, in der dem Leipziger Institut für Marktforschung ziemlich direkt vorgeworfen wird, es würde Umfrageergebnisse zugunsten der SPD verschönern - die es bei einer vergleichsweise unwichtigen Umfrage der "Morgenpost" auf ganze 24 Prozent brachte.

Mit keiner anderen Begründung als der, dass man sich dieses Ergebnis angesichts des Bundestrends nicht vorstellen könnte (obwohl es eigentlich sogar recht gut im Bundestrend liegt), erklärt man die Umfrage für manipuliert. Geradezu verdächtig erscheint es den Statistik-Experten der "nationalen Opposition", dass SPD, Grüne und SED Linke gemeinsam genau auf 50% der abgegebenen Stimmen kommen - da muss doch eine Manipulation dahinterstecken befinden sie und erklären die Meinungsumfrage kurzerhand zur "Meinungslenkungs-Waffe".

Marktforscher als Marionetten der "Systemkräfte"? Im Grunde eine unterhaltsame Verschwörungstheorie, würde sie nicht den Experten des IfM kollektiven Betrug vorwerfen - immerhin ist der Pressemitteilung (wörtlich) zu entnehmen, dass dort "regelmäßig Umfrageergebnisse einseitig zugunsten der SPD geschönt" würden. Dies wiederum macht die Verlautbarung der NPD zu einem echten Ärgernis, gegen das sich die Kolleginnen und Kollegen aus Leipzig hoffentlich erfolgreich zu Wehr setzen werden.

SampleSizer: Kostenloses Tool zur Bestimmung des optimalen Stichprobenumfangs

Eine der meist gestellten Fragen bei der Erhebungsplanung ist die nach der optimalen Stichprobengröße. Die wohl häufigste Antwort auf diese Frage lautet: „Je größer desto besser“. Dass dies nicht die beste Antwort ist, bewies bekanntermaßen bereits George Gallup (Gründer der heute sehr bekannten Gallup Organization), der 1936 den Ausgang der US-Präsidentschaftswahl mit einer Stichprobe von nur 5000 Wählern sehr genau vorhersagen konnte, während die Analysten des Literary Digest mit einer Mega-Stichprobe von 2,3 Millionen Probanden zu einer (auch für das Magazin) desaströsen Fehleinschätzung des Wahlausgangs gelangten. Wie Gallup zeigte, kommt es primär auf das Verfahren der Stichprobenziehung an – und erst wenn die Stichprobe sauber gezogen wird, lohnt es sich über die optimale Größe derselben nachzudenken. (Mehr hierzu in meinem kurzen Artikel über das Literary Digest Desaster von 1936 für die Nachwuchswissenschaftlerkonferenz 2007).

Wenn für eine Zufallsstichprobe oder ein adäquates Ersatzverfahren gesorgt wurde, tritt jedoch die Frage nach der optimalen Stichprobengröße wieder in den Vordergrund. Wie also lässt sich diese (mathematisch) bestimmen? In der Praxis existieren hier verschiedene Ansätze, wobei ich mit der Formel von William G. Cochran bisher die besten Erfahrungen gemacht habe:

Die Formel basiert auf den aus der Statistik bekannten Konfidenzintervallen. Diese schließen ein Merkmal mit einer gewissen Sicherheit zwischen zwei Grenzwerten ein (Beispiel: „Der prozentuale Anteil an den Unterstützern einer bestimmten Petition unter Familienvätern liegt mit einer Sicherheit von 95% zwischen 16% und 18%). Wer sich für die Mathematik hinter der Formel interessiert, kann sich in der Originalquelle von Cochran näher informieren:

Cochran, W. G. 1963. Sampling Techniques, 2nd Ed., New York: John Wiley and Sons, Inc. (in nahezu jeder Hochschulbibliothek zu finden)

Für alle Studenten, die lediglich einmalig ein Erhebungsprojekt umsetzen möchten und daher einen Richtwert für die Stichprobengröße benötigen, ist es aber sicher viel interessanter zu erfahren, welche Werte in die Formel eingehen: N (Die Größe der Grundgesamtheit), e (Die „+/-“ - Breite des Konfidenzintervalls), p (Der Stichprobenanteil), q (entspricht 1 – p) und der Z-Wert aus der Standardnormalverteilung für die gewünschte Sicherheit des Konfidenzintervalls (d.h. 1,96 für ein Intervall mit 95%iger Sicherheit). Wenn man den Stichprobenanteil (den Anteil an Probanden, welche die untersuchte Merkmalsausprägung aufweisen) nicht kennt, was ja häufig der Fall ist, setzt man im Sinne einer konservativen Schätzung der optimalen Stichprobengröße üblicherweise 50% ein, womit die maximale Schwankungsbreite erreicht wäre (und damit auch der "ungünstigste" Fall, der zu einer Maximierung des Stichprobenumfangs führt).

Wer einmal nachrechnen möchte: Bei einer Grundgesamtheit von 20.000 Personen, einem unbekannten Stichprobenanteil (also ersatzweise p = 0.5) und einer Intervallbreite von +/- 3% um den Stichprobenanteilswert (e = 0.03) sollten mindestens 1015 Personen befragt werden. Befolgt man diesen Hinweis und wird zudem eine saubere Stichprobe gezogen, so ist davon auszugehen, dass der „reale“ Anteilswert in der Grundgesamtheit (der sich nur durch eine Vollerhebung ermitteln ließe) mit 95%iger Wahrscheinlichkeit nur um maximal +/- 3% vom in der Stichprobe gefundenen Wert abweicht.

Einer meiner besten Kunden fragte kürzlich an, ob es nicht möglich wäre, ein Softwaretool zu programmieren, das einem die Berechnung der optimalen Stichprobengröße abnimmt. Nach einer Reaktivierung meiner leicht angestaubten VisualBasic-Kenntnisse aus dem Informatik-Studium und zwei Versionsupdates bin ich mit dem Tool inzwischen soweit zufrieden, dass ich es auch allen anderen Interessierten zur Verfügung stellen möchte – natürlich kostenlos.

Mit SampleSizer (aktuell in der Version 1.2.0.4) lässt sich also die optimale Stichprobengröße ganz einfach berechnen: Nachdem man die Größe der Grundgesamtheit, den erwarteten Stichprobenanteilswert (oder, wenn unbekannt, alternativ 0.5) sowie die maximale Abweichung nach oben oder unten im Konfidenzintervall eingegeben hat, reicht ein Klick auf den „Berechnen“-Button aus, um den Richtwert für die Stichprobengröße nach Cochran zu erhalten:

Das Programm lässt sich hier als zip-File herunterladen. Nachdem man die Datei in ein Verzeichnis entpackt hat, kann man dort mit einem Klick auf „Setup“ die Installationsroutine starten, bei der eventuell (falls auf dem Rechner noch nicht vorhanden) zusätzlich ein paar .NET-Komponenten vom Microsoft-Server heruntergeladen werden. Wer möchte, kann SampleSizer sowohl für private als auch für kommerzielle Zwecke frei einsetzen, verändert werden darf es jedoch nicht. Dafür darf es gerne weitergegeben oder auf anderen Homepages zum Download angeboten werden (natürlich auch kostenfrei), solange dabei die Quelle genannt wird.

Wie bei Freeware üblich distanziere ich mich natürlich von allen Schäden, die durch Installation oder Verwendung der Software oder die falsche Interpretation der Ergebnisse eintreten könnten (Bei MS-Software weiß man das ja nie so genau, aber mit VB habe ich bisher eigentlich nur gute bis hervorragende Erfahrungen gesammelt). Ich hoffe, der eine oder andere meiner Blogleser kann das Tool gebrauchen und freue mich natürlich über jede Rückmeldung und alle (auch kritischen) Verbesserungsvorschläge.

Wer also noch Ideen hat, wie man das Tool verbessern könnte, kann sich jederzeit gerne an mich wenden. Wer darüber hinaus eine Idee oder Anregung hat, welche „Statistik-Tools“ ebenfalls von allgemeinem Interesse sein könnten, kann mir ebenfalls gerne schreiben. Vielleicht lässt sich die eine oder andere Idee ja ohne allzugroßen Aufwand umsetzen – und dann könnte es in Zukunft in diesem Blog natürlich öfter mal ein Downloadangebot geben.

DESTATIS und de juris

Ein äußerst interessantes Urteil fällte in der letzten Woche das Verwaltungsgericht Wiesbaden. Danach sind Unternehmen verpflichtet, interne Daten an das Statistische Bundesamt herauszugeben. Dagegen geklagt hatte ein Großhandelsunternehmen aus Schleswig-Holstein, welches die Anforderung des Bundesamtes als Eingriff in das Recht auf informelle Selbstbestimmung wertete.

Das Unternehmen bemängelte zudem, dass neben Aspekten des Datenschutzes auch die Kriterien unklar seien, nach denen das Bundesamt die zur Auskunft verpflichteten Unternehmen auswählt. Dieser Einschätzung widersprach das Gericht und stellte fest, dass die Grundgesamtheit an theoretisch zur Auskunft verpflichteten Unternehmen sehr wohl feststehe, und dass das Bundesamt berechtigt sei, aus diesen eine Auswahl nach eigenem Urteil zu treffen. Eine Auswahl von Unternehmen aus einer vorgegebenen Grundgesamtheit – klingt für mich nach einer Stichprobe, wobei man bei Verwendung eines einfachen Stichprobenverfahrens diesen „Mechanismus“ ja problemlos hätte offenlegen können.

Das Großhandelsunternehmen bemängelte außerdem, dass die Nicht-Zuordnung der Daten nicht gewährleistet sei, da es in Schleswig-Holstein nur fünf Unternehmen der gleichen Größenordnung gäbe. Auch dieser Einschätzung widersprach das Gericht – wären alle fünf Unternehmen dazu verpflichtet, Daten abzuliefern, dann könnte man konkrete Geschäftszahlen nicht mehr zuordnen.

Das Urteil ist für Statistiker durchaus von Interesse – denn was passiert, wenn in einer zufällig gewählten Stichprobe einmal nur ein Unternehmen einer bestimmten Größenklasse auftaucht? Muss die Stichprobe dann aus juristischen Gründen so erweitert werden, dass eine Nicht-Zuordnung der Daten gewährleistet werden kann? Die Repräsentativität einer Erhebung würde unter solchen Maßnahmen selbstverständlich leiden, so dass unklar bleibt, was in einem solchen Fall zu geschehen hat. Mir hat sich zudem nicht erschlossen, wieso die Nicht-Zuordnung der Daten nur durch die Aufnahme von Daten ähnlicher Betriebe gewährleistet werden kann, und nicht durch die vollständige Anonymität der Erhebung selbst.

So oder so wird das Bundesamt wohl noch eine Weile auf die Daten warten müssen, denn ein abschließendes Urteil in der Datenklage steht noch aus: Das Großhandelsunternehmen hat bereits angekündigt, gegen das Urteil von Wiesbaden beim Bundesverwaltungsgericht in Leipzig Revision einzulegen.

Neues Zentrum für Statistik in Bielefeld

Die Bedeutung von Statistiken in Wirtschaft, Politik und Gesellschaftswissenschaften hat über die letzten Jahrzehnte kontinuierlich zugenommen. Besonders für die Marktforschung, ein Wirtschaftszweig der in den letzten Jahren kontinuierlich gewachsen ist, stellt die Statistik natürlich so etwas wie eine „Leib- und Magenwissenschaft“ dar.

Gerade im Zuge der immer wichtiger werdenden Online-Marktforschung ist es wichtig, neben grundlegenden Kenntnissen über statistische Verfahren auch über wesentliche Methodenkenntnisse zu verfügen, da die Umsetzung von traditionellen „Offline-Befragungen“ in der Online-Welt mit vielen Einschränkungen und Problemen behaftet ist. Aber nicht nur online, auch offline sind theoretische Kenntnisse unabdingbar, wenn man saubere und wissenschaftlich korrekte Marktforschung betreiben will.

Um so erfreulicher ist da eine aktuelle Meldung des Informationsdienst Wissenschaft: An der Universität Bielefeld hat man die fachbereichsübergreifende Bedeutung der Statistik klar erkannt und bringt in einem in der letzten Woche neugegründeten „Zentrum für Statistik“ Wissenschaftler mit verschiedenen fachlichen Backgrounds zusammen. Durch die Zentralisierung der Statistik sollen die methodisch, empirisch und statistisch orientierten Wissenschaftler ihr Wissen bündeln, während gleichzeitig die jeweiligen fachspezifischen Richtungen der Statistik erhalten bleiben.

Der Blick auf die Liste der im Zentrum vertretenen Professoren offenbart die breite wissenschaftliche Bedeutung der Statistik: Mit Fachleuten aus den Bereichen Marketing, Ökonometrie, Wirtschaftswissenschaften, Mathematik, Demographie, Epidemiologie, Sozialforschung und Methodenlehre ist das Zentrum bereits gut aufgestellt. Es kommt jedoch noch besser, denn auch der Aufbau eines Master- beziehungsweise Promotionsstudiengangs "Statistische Wissenschaften" ist bereits fest eingeplant. In Kooperation mit dem Bielefelder Zentrum für Statistk-Beratung (StatBeCe) sowie der Statistik- und Methodenberatung für Psychologinnen und Psychologen soll das neue Zentrum für Statistik vor allem Wissenschaftler und Studierende beraten, wobei auch angedacht ist, die Leistungen des Zentrums für Industrie und Verwaltung zu öffnen.

Den Mitarbeitern und Kollegen um Statistik-Professor Dr. Kauermann kann man zu diesem ambitionierten Vorhaben wohl nur gratulieren und ihnen mit dem neuen Statistik-Zentrum einen guten Start wünschen. Sobald das gebündelte Statistik-Wissen aus Bielefeld im Netz präsentiert wird, wird es im Statistik-Blog sicher einen weiteren Link in der Blogroll geben.

Der Befrager – Online-Befragungen leicht gemacht

Aus vielen E-Mails weiß ich, dass in diesem Blog auch einige Studentinnen und Studenten mitlesen. Für all diejenigen Studierenden unter meinen Lesern, die im Rahmen einer Semester- oder Abschlussarbeit eine Online-Befragung durchführen möchten (eine empirische Untersuchung bietet sich ja bei vielen Aufgabenstellungen an), stellt sich natürlich auch die Frage, mit welcher Software der Fragebogen erstellt werden kann – es sei denn natürlich, man möchte sich selbst an der HTML-Programmierung versuchen (für Informatiker kann das ja ganz reizvoll sein). Für alle anderen, die sich die Arbeit so einfach wie möglich machen wollen, lohnt sich ein Blick auf das kostenfreie Online-Fragebogensystem „Befrager“, das im Netz unter http://www.befrager.de zu finden ist.

Beim "Befrager" handelt es sich um eine von Christian Hansen entwickelte Software, mit der man äußerst einfach und komfortabel Onlinebefragungen erstellen kann. Das ganze System läuft komplett auf dem Webserver des Anbieters ab, was für den Nutzer den großen Vorteil hat, dass nichts heruntergeladen oder installiert werden muss. Statt dessen kann man den Fragebogen direkt im eigenen Browser erstellen, testen und für die Probanden freigeben. Die einzige Voraussetzung für die Nutzung ist ein Browser der JavaScript beherrscht und Cookies annehmen kann. Sind diese Voraussetzungen erfüllt, steht der Erstellung beliebig vieler Online-Fragebögen nichts mehr im Wege, wobei man auf eine Vielzahl an Frageformen und Features zurückgreifen kann.

Um einmal einen kleinen Einblick in die Möglichkeiten zu geben, habe ich ein paar alte Screenshots einer Online-Befragung herausgesucht, die ich 2005 im Rahmen meiner Diplomarbeit mit dem "Befrager" erstellt habe. Die Befragung wurde im Auftrag der Bürgerinitiative "Höchste Eisenbahn für den Südharz" durchgeführt, die sich für den Erhalt und den Ausbau der Südharz-Eisenbahnstrecke einsetzt. Der Fragebogen richtete sich an Mitglieder und Unterstützer der Initiative, Ziel der Erhebung war es, etwas über deren ÖPNV-Nutzungsgewohnheiten in Erfahrung zu bringen.

Hier sieht man eine HTML-Frageseite aus der ÖPNV-Befragung mit einigen Radiobuttons. Von den vorgegebenen Antwortmöglichkeiten lässt sich bei diesem Fragetyp immer nur eine selektieren – und auch ob die Frage einfach vom Probanden übersprungen werden kann, lässt sich im "Befrager" festlegen.

Auf dieser HTML-Frageseite wurden mehrere 5-stufige Skalen eingesetzt, eine Frageform, die auch als "semantisches Differential" bekannt ist. Wer die recht kleinen Screenshots übrigens näher betrachten möchte, kann sie sich jederzeit mit einem einfachen Mausklick in vergrößerter Form anzeigen lassen.

Dieser Screenshot zeigt eine typische Matrixfrage. Wer sich bereits näher mit Online-Befragungen beschäftigt hat erkennt, dass die Matrix bereits recht umfangreich ausfällt, der empfohlene maximale Rahmen von 6 x 6 Feldern aber noch nicht überschritten wurde. Noch umfangreichere Frage-Matrizen wirken dagegen unübersichtlich und können unter Umständen dazu beitragen, dass Probanden die Beantwortung des Fragebogens vorzeitig abbrechen (man bezeichnet dies in der Online-Marktforschung auch als Drop-Out).

Der letzte Screenshot zeigt, dass man auch Grafiken in die Befragung einbinden kann. Oberhalb des Bildes erkennt man zudem ein Feld für die Eingabe eines freien Textes als Antwort auf eine offene Frage, die sich mit dem "Befrager" ebenfalls realisieren lässt.

Das grafische Design des Fragebogens kann übrigens auf vielfältige Art und Weise verändert werden, so dass einer individuellen Fragebogengestaltung kaum Hindernisse im Wege stehen. Neben vielen Frageformen und einem guten grafischen Editor bietet der "Befrager" viele weitere Features, die sich im Rahmen eines einfachen Blogposts leider nicht demonstrieren lassen, wie beispielsweise eine Vollständigkeitsprüfung, eine sehr gute Filterführung oder die Möglichkeit, sich nach Abschluss der Feldzeit alle Ergebnisse in einer SPSS-Datei zusammengefasst herunterladen zu können.

Alles in allem eine wirklich gute Software, die durchaus mit kommerziellen Paketen mithalten kann, und die sich gerade aufgrund der kostenfreien Nutzbarkeit vor allem für Studierende eignet, die ja eher selten über ein großes Softwarebudget verfügen. Wer also in nächster Zeit eine Online-Befragung plant, sollte vielleicht schon mal einen kurzen Abstecher auf http://www.befrager.de unternehmen und sich die Seite bookmarken.

Eine Kurzübersicht der Ergebnisse meiner ÖPNV-Befragung von 2005 wurde übrigens im „Weissbuch zur Vermarktung von Bahn und Bus im Südharz“ veröffentlicht – und aus der Diplomarbeit entstand im letzten Jahr mein zweites Buch, "Möglichkeiten und Grenzen von Online-Befragungen", das unter anderem bei Amazon erhältlich ist.

NSDstat-Kurs: Interpretation eines Histogramms

Im vierten Teil des Blog-Tutorials zur Analysesoftware NSDstat Pro soll nun nach dem Box-Plot auch noch auf die Interpretation des Histogramms eingegangen werden, das ja von NSDstat stets gemeinsam mit dem Box-Plot ausgegeben wird. Als Beispieldatensatz dient wieder einmal die bekannte Jugendlichen-Befragung zum Thema Politik, als Beispielvariable erneut die Variable v8 – Politisches Interesse. Die ersten zwei Schritte – Auswahl der Variablen und Erstellung der univariaten Analyseübersicht – sind somit identisch mit den ersten beiden Schritten der letzten Tutorial-Kapitel.

Wer die Erinnerung an die genaue Vorgehensweise noch einmal etwas auffrischen will, kann dies übrigens hier tun. Wie immer lassen sich übrigens auch in diesem Tutorial-Posting die Grafiken mit einem Mausklick vergrößert darstellen.

Ein Klick auf das Grafik-Icon (das dritte Icon von oben) öffnet in der univariaten Statistik die grafische Übersicht, die bei NSDstat stets aus dem Histogramm mit der eingeblendeten Normalverteilungskurve sowie dem darunterliegenden Box-Plot besteht, dessen Interpretation ja bereits im letzten Teil dieses Tutorials ausführlich beleuchtet wurde.

Ein solches Histogramm stellt die Häufigkeitsverteilung der Werte einer intervallskalierten Variablen dar (diese Voraussetzung sollte erfüllt sein – ist sie es nicht, lässt sich das Histogramm nicht sinnvoll interpretieren). Histogramme eignen sich primär für die Darstellung von stetigen Merkmalen mit einer größeren Anzahl an Ausprägungen. Bei der Konstruktion der Grafik wird von den nach der Größe geordneten Daten ausgegangen, die in eine bestimmte Anzahl von Klassen aufgeteilt werden. Über jeder dieser Klassen wird ein Rechteck konstruiert, dessen Flächeninhalt sich proportional zur absoluten bzw. relativen Häufigkeit der jeweiligen Klasse verhält.

Diese Klassen müssen nicht zwangsweise die gleiche Breite besitzen – es ist aber durchaus von Vorteil wenn es so ist, da nur dann der grafische Vergleich mit der Normalverteilung möglich wird. Aus diesem Grund werden Histogramme in den meisten Statistikprogrammen per Default stets mit gleichbreiten Klassen erzeugt – so beispielsweise in SPSS, wie die untenstehende Grafik verdeutlicht. Auch in NSDStat haben alle Histogramme automatisch gleichbreite Klassen, eine Voreinstellung, die auch durch den User nicht aufgehoben werden kann.

Aber welcher Vorteil ergibt sich durch das Einblenden der besagten Kurve? Nun, viele statistische Verfahren in der Marktforschung setzen voraus, dass bestimmte Variablen in der Grundgesamtheit normalverteilt sind (so beispielsweise die Varianzanalyse). Der Marktforscher muss daher häufig prüfen, ob vom Vorliegen einer solchen Verteilung ausgegangen werden kann, wobei eine näherungsweise Übereinstimmung häufig für die Fortsetzung der Analyse ausreichend ist – eine perfekte Übereinstimmung ist bei Daten aus einer Stichprobe ja ohnehin nicht zu erwarten.

Diese Prüfung auf Normalverteilung kann unter anderem anhand eines Histogramms mit eingeblendeter Normalverteilungskurve erfolgen, wobei aus mathematischer Sicht bessere Optionen existieren (mehr dazu weiter unten). Da die Balken des Histogramms die komplette Breite der Wertebereiche widerspiegeln und zudem für leere Wertebereiche ein Freiraum ausgegeben wird, kommt im Histogramm die gesamte empirische Verteilung der Variablen zum Ausdruck. Dies ermöglicht den direkten Vergleich mit einer eingezeichneten theoretischen Verteilung wie beispielsweise der Normalverteilung.

Je schwächer der Balkenverlauf dem Verlauf der eingeblendeten Normalverteilungskurve folgt, desto eher ist davon auszugehen, dass keine Normalverteilung vorliegt. Nachfolgend dazu noch ein Beispiel mit einer anderen Variablen – v9, in der das Vertrauen, welches die Jugendlichen ganz allgemein in Politiker setzen, auf der bereits von v8 bekannten Skala erfasst wurde.

Auch hier ist – analog zur bisherigen Beispielvariable v8 – zu erkennen, dass die eingeblendete Normalverteilungskurve mit dem Balkenverlauf sehr gut zusammenpasst.

Bei der Interpretation solcher Ergebnisse ist aber stets zu beachten, dass es sich lediglich um eine Prüfung und keinen statistischen Test handelt. Dies bedeutet, dass in die Grafik ausschließlich die vorliegenden Werte aus der Stichprobe einfließen, die ja nicht zwangsweise die Verteilungsverhältnisse in der Grundgesamtheit optimal abbilden, sondern aufgrund von Zufallseffekten auch stark abweichende Verhältnisse aufweisen können. Einen Test auf Vorliegen einer Normalverteilung kann nur anhand eines „echten“ statistischen Tests wie des Kolmogorov-Smirnov-Anpassungstests erfolgen, nicht aber anhand einer grafischen Prüfung – es sei denn, es liegen die Daten einer Vollerhebung vor.

Handelt es sich jedoch um Daten aus einer Stichprobe, was in der Praxis ja meist der Fall sein wird, so stellen die grafischen Prüfungen lediglich einen Indikator dafür da, inwiefern ein Test überhaupt sinnvoll erscheint – allerdings einen guten, weshalb man sie vor der Durchführung eines aufwändigen Testverfahrens unbedingt einmal ansehen sollte.

In den nächsten Teilen dieses Tutorials lösen wir uns von der univariaten Datenanalyse und wenden uns den bivariaten Statistiken zu, wobei es im nächsten Tutorial erst einmal um die Erstellung von einfachen Kreuztabellen sowie die Durchführung von Chi²-Tests gehen wird.

Wenige Kundenbefragungen = viel Erfolg?

Kundenbefragungen sind in der Marktforschung ein beliebtes Instrument, da sie wichtige Erkenntnisse zur Akzeptanz von Produkten und Dienstleistungen liefern und zugleich die Kundenbindung fördern - so oder so ähnlich lässt sich die aktuelle Lehrmeinung zusammenfassen. Doch nun behaupten die Experten der Deutschen Gesellschaft für Qualität und des Mainzer forum! Marktforschung angeblich das genaue Gegenteil - weniger, dafür aber konsequent umgesetzte Kundenbefragungen sind nach einer Umfrage aus dem aktuellen Excellence Barometer deutlich wertvoller für ein Unternehmen als häufiger durchgeführte Befragungen, deren Ergebnisse ohne Folgen bleiben.

Auf finanztreff.de und anderen Marketing- und Finanz-Portalen haben diese Erkenntnisse so manchen Online-Redakteur bereits dazu verleitet, mit Headlines wie "Erfolgreiche Firmen befragen ihre Kunden seltener" das Interesse an der Studie zu schüren. Führt man sich die Zusammenfassung der Ergebnisse aber noch einmal genau vor Augen, so fällt auf, dass der entscheidende Faktor nicht die Frequenz der Befragungen, sondern die aus den Ergebnissen gezogenen Konsequenzen sind. Eigentlich ganz logisch - eine Kundenbefragung im Jahr, deren Ergebnisse dann auch wirklich ernst genommen und zur Serviceverbesserung genutzt werden ist viel sinnvoller, als zehn Befragungen, deren Ergebnisse in der Ecke landen.

Mich erinnert dies an eine Reiseerzählung von Bill Bryson, einem meiner Lieblingsautoren. Auf einer Flugreise fällt ihm das offizielle Bordmagazine der Airline in die Hände. Auch diese hat eine Kundenbefragung durchgeführt und dabei herausgefunden, dass sich Fluggäste vor allem wünschen, dass sie ohne einen Absturz und möglichst pünktlich ihr Reiseziel erreichen und dass ihr Gepäck von der Airline nicht verloren wird. Bryson wundert sich: Lebend, pünktlich und mit Gepäck - und dafür machen die nun Marktforschung?

Die Anekdote passt aus zwei Gründen. Zum einen haben die Qualitätsexperten vollkommen Recht wenn sie feststellen, dass in Unternehmen manchmal zuviel befragt wird und dass die Ergebnisse - ähnlich wie bei der Airline-Befragung - kaum ernstgenommen werden können, da es sich entweder um Dinge handelt, die man längst weiß, oder aber um Allgemeinplätze, die im Grunde kaum umgesetzt werden können. Ohne Absturz und mit Gepäck...

Die Brysonsche Kurzgeschichte kommt mir aber auch in den Sinn, da die Ergebnisse der Qualitätsstudie mich unwillkürlich ebenfalls an die Ergebnisse der Airline-Befragung erinnern. Wenige Befragungen, deren Ergebnisse zur Verbesserung von Service oder Produkten verwendet werden, sind also für den Erfolg beim Kunden besser geeignet als viele Befragungen, deren Ergebnisse nie umgesetzt werden? Auch das ist im Grunde keine bahnbrechende Erkenntnis, wobei man sich schon fragt, warum die Frequenz der Erhebungen überhaupt eine Rolle spielt. Wenn nur wenige Befragungen durchgeführt werden, deren Ergebnisse dann in der Ecke landen, sollten die Auswirkungen auf den Erfolg sich doch ähnlich in Grenzen halten wie bei vielen unnützen Befragungen. Und wenn man den Kunden häufig befragen und die Ergebnisse dann jedesmal geschwind in eine Verbesserung des eigenen Angebots einfließen lassen würde?

Die Erklärung ist im Grunde banal: Häufige Erhebungen sind deshalb keine gute Strategie, weil den meisten Unternehmen nicht über die Ressourcen verfügen, sich mit den Ergebnissen jeder Studie zu befassen. Man könnte die Ergebnisse der Qualitätsforscher daher auch so zusammenfassen: "Kein Unternehmer sollte sich mehr Arbeit aufladen, als realistischerweise zu bewältigen ist." Oder so: "Erfolgreiche Unternehmer fangen nur dann etwas an, wenn es auch anständig zuende geführt werden kann." Das ist nicht nur eine durchaus wichtige Erkenntnis, es macht auch viel mehr Sinn als "Erfolgreiche Unternehmer befragen ihre Kunden seltener" - dafür gibt es aber - zugegebenermaßen - keine so interessante Headline ab.

Lesetipp: Markenwahl mit Herz und Verstand

Der MaFo-Lesetipp des Tages: Tim Zuetphen von TNS Infratest schreibt in der aktuellen Online-Ausgabe der Financial Times Deutschland über das Marktforschungstool Conversion Model, über die Kunst, starke Marken zu identifizieren und über die Frage, wie Konsumenten eigentlich ihre Kaufentscheidungen treffen. Ein höchst lesenswerter Artikel, der jedem Marktforschungs- und Marketing-Interessierten vorbehaltlos empfohlen werden kann.

NSDstat-Kurs: Interpretation eines Box-Plot

Im dritten Teil des Blog-Tutorials zur Analysesoftware NSDstat Pro soll gezeigt werden, wie sich mit NSDstat ein Box-Plot erstellen lässt und wie diese besondere Form der grafischen Darstellung interpretiert werden kann. Als Beispiel wird der bereits aus den ersten beiden Teilen bekannte NSDstat Demo-Datensatz zum politischen Interesse von Schülern verwendet.

Der erste Schritt besteht in der Erstellung der univariaten Basis-Statistik, die im zweiten Teil des Tutorials beschrieben wurde. Wer die Erinnerung noch einmal etwas auffrischen will, kann den entsprechenden Text hier nachlesen.

Wie am Screenshot zu erkennen ist, wurde auch hier wieder die Variable V8 selektiert, in der das politische Interesse der befragten Schüler auf einer Skala von 1 bis 4 erfasst wurde. Ein Klick auf das Grafik-Icon (das dritte Icon von oben) öffnet nun die grafische Übersicht, die in der Standardeinstellung aus einem Histogramm mit eingeblendeter Normalverteilungskurve sowie dem darunterliegenden Box-Plot besteht, der in NSDstat auch als Box-Whisker-Plot bezeichnet wird.

Um diesen Box-Plot korrekt interpretieren zu können, muss man sich den Aufbau der Grafik vor Augen führen: Die Box als zentrales Element verläuft vom oberen (75%) Quartil zum unteren (25%) Quartil, das mittlere (50%) Quartil, welches auch als Median bekannt ist, ist als Linie in der Box eingezeichnet. Der Median liegt keineswegs immer in der Mitte der Box - auch wenn es in diesem Beispiel-Fall so ist. Seine Lage hängt vielmehr von der Form der Verteilung ab, die somit ebenfalls direkt aus dem Box-Plot abgelesen werden kann (Stichwort: Links- und Rechtssteilheit bzw. Symmetrie). Da die Box zwischen dem oberen und dem unteren Quartil verläuft, entspricht ihre Länge auch genau dem Interquartilsabstand IQR, einem bekannten Streuungsmaß aus der explorativen Datenanalyse.

Außerhalb der Box wird ein Abstand von 1,5 IQR auf die obere und die untere Kante aufgetragen, so dass sich ein Feld mit einer Gesamtlänge von 4 IQR ergibt. Zwei Werte, die noch in diesem Bereich von 4 IQR liegen, bilden die Grenzpunkte für den oberen und den unteren "Zaun" des Box-Plots, die jeweils durch eine Linie mit der Box verbunden werden. Zu beachten ist, dass die Zäune nicht an der Grenze von +/- 1,5 IQR um die beiden Enden der Box liegen, sondern dort, wo sich der größte bzw. der kleinste Wert der Verteilung innerhalb dieser beiden Abstände befindet. Alle Werte die außerhalb der Zäune liegen, werden als Ausreißer gekennzeichnet, wobei angemerkt werden muss, dass keine allgemeingültige Definition dieses Begriffs existiert und die Identifikation der Ausreißer via Boxplot nur eine der möglichen Methoden darstellt.

Abschließend noch eine selbsterstellte Grafik aus dem MaFo-Wiki, in welcher der Aufbau des Box-Plot noch einmal übersichtshalber dargestellt wird:

In der nächsten Ausgabe dieses Tutorials werde ich mich der Interpretation der zweiten Grafik – des Histrogramms mit eingeblendeter Normalverteilungskurve – zuwenden und unter anderem erläutern, warum man sich diese Grafik vor der Durchführung eines Kolmogorov-Smirnov-Anpassungstests unbedingt ansehen sollte.

Inflationärer Gebrauch des Studienbegriffs

Die gelegentlich mangelhafte statistische Sauberkeit heutiger Marktforschung habe ich in diesem Blog ja bereits mehrfach kritisiert. Nun ist auch im ZDNet - der wohl bekanntesten deutschsprachigen IT-Webseite neben heise - ein Artikel erschienen, in dem kritisch angemahnt wird, dass seitens der Unternehmen zu vieles als "Marktforschung" verkauft wird, auch wenn es sich im Grunde kaum um mehr als interne Untersuchungen mit entsprechendem Bias handelt.

Anlass zur Kritik bietet der aktuelle "Studienkrieg" zwischen Microsoft und der Mozilla Foundation über die Sicherheit ihrer jeweiligen Browser. Da laut des ZDNet-Autors Lothar Lochmaier die Ergebnisse von "so genannter Marktforschung" häufig auf "wundersame Weise" zustandekämen, wird in seinem Artikel die geradezu inflationäre Verwendung des Begriffs "Studie" einmal kritisch betrachtet.

Dabei kommt Lochmaier zu dem Schluss, dass in zwei Arten von Marktforschern unterschieden werden muss: Nämlich in diejenigen, die eine Studie noch als "zitierfähige und abgeschlossene Untersuchung" betrachten, die "zumindest einigen wissenschaftlichen Standards genügen sollte" und diejenigen, "die den deutschen Sprachgebrauch sehr flexibel ausdehnen" und auch Untersuchungen mit geringem Umfang, deren Resultate ohnehin bereits feststehen, als "wissenschaftliche Studie" verkaufen.

Auch wenn Angriffe gegen "die Statistik" (auch das berühmte aber falsche Churchill-Zitat kommt wieder einmal im Artikel vor) immer leicht fallen und wohl das sind, was der Amerikaner als "cheap shot" bezeichnen würde, so muss man Lochmaier in diesem Falle doch zustimmen. Die geradezu inflationäre Verwendung von wissenschaftlich besetzten Begriffen wie "Studie", "Signifikanz" (hierzu gibt es eine weitere fundierte Kritik im Arbeitszimmer) oder "Repräsentativität" ist in der Tat ein Problem, da diese Ausdrücke beim Leser solcher Berichte bzw. beim Marktforschungs-Kunden inhaltliche Assoziationen auslösen, die durch die Methodik der Datenerhebung und -analyse leider viel zu oft nicht gedeckt werden.

"Statistik-Bashing" ist als moderner Sport für Journalisten sicher zu kritisieren - die ständige und missverständliche Verwendung von Begriffen aus der wissenschaftlichen Marktforschung für methodisch unsaubere Untersuchungen ist aber ebenfalls ein Problem - und zwar eins, welches zu mehr und mehr kritischen Artikeln und damit zu ständig weiter erodierendem Vertrauen in alle Ergebnisse statistischer Untersuchungen - auch der methodisch sauberen - führt.