(19) Was ist wissenschaftliche Information

Print Friendly

Basis jeglicher wissenschaftlichen Arbeit ist zuverlässige Information über das, was wir wissen. Wer mir bis hierher gefolgt ist, der hat in den vorangegangenen Kapiteln erfahren, dass wir

  • weniger sicheres Wissen haben, als wir denken (weil vieles von dem, was Unsicherheit verbreiten könnte, wie etwa fehlgeschlagene Replikationen, gar nicht publiziert ist): Blog 16
  • das, was eine wissenschaftliche Tatsache ist, eigentlich gar nicht so präzise benennen können, wie man glaubt, weil es sozial vermittelt ist: Blog 17
  • nicht immer alles glauben sollten, was die Mehrheit als gültig anerkennt (Blog 16, 17 und 18).

Nun wollen wir uns einmal diesem Rätsel zuwenden, das sich „wissenschaftliche Information“ nennt. Was genau ist das? Wann sprechen wir davon, dass eine Information wissenschaftlich sauber oder exakt sei? Oder gar „wissenschaftlich belegt“? Oder einfach „wissenschaftlich“?

Wenn man im Alltagssprachgebrauch davon redet, eine Information sei „wissenschaftlich“, dann meint man damit in aller Regel: „methodisch abgesichert“, „in der wissenschaftlichen Literatur publiziert“ und daher „glaubwürdig“. „Methodisch abgesichert“ meint ein methodisches Kriterium, „in der wissenschaftlichen Literatur publiziert“ meint ein operationales Kriterium. Und „glaubwürdig“ meint ein inhaltliches Kriterium. Weil man davon ausgeht, dass in der wissenschaftlichen Literatur nur methodisch saubere Ergebnisse publiziert werden, hält man diese auch für glaubwürdig. Weil letztlich nur Fachleute oder Menschen mit ausreichenden Detail- und Methodenkenntnissen beurteilen können, ob das, was in der wissenschaftlichen Literatur publiziert wurde auch methodisch sauber ist, verlässt sich der Rest der Welt, und das sind häufig auch der Rest aller Wissenschaftler, auf die Qualitätssicherungsprozesse innerhalb der wissenschaftlichen Fachliteratur.

Diesen wenden wir uns im Folgenden zu:

Wissenschaftliche Fachliteratur und verschiedene Typen von Literatur

Originalarbeiten und andere Zeitschriftenartikel

Wissenschaftliche Fachliteratur gibt es in unterschiedlichen Formaten. Prägend für die naturwissenschaftlichen Fachrichtungen und die empirischen Sozialwissenschaften Psychologie, Soziologie, Pädagogik undWirtschaftswissenschaften sind die sogenannten „Originalarbeiten“. Darunter versteht man empirische oder theoretische Befunde. Wenn eine Arbeitsgruppe ein Experiment gemacht hat, eine klinische oder andere Studie durchgeführt oder eine Beobachtung angestellt hat, wenn ein Forscher empirische Daten theoretisch erklärt oder ein neues theoretisches Modell aufstellt, das vorhandene Daten erklärt oder neue vorhersagt, dann nennt man das eine Originalarbeit. „Original“ deshalb, weil diese Information neu ist und bisher noch nicht vorliegt. In der Regel gehen solche Originalarbeiten auf Forschungsanstrengungen zurück, die von Forschern selber initiiert wurden, in manchen Fällen auch auf Auftragsforschung, die von jemandem angeregt oder bezahlt wurde. In jedem Fall ist die Information neu in dem Sinne, dass diese Studie noch nie gemacht worden ist. Es kann durchaus sein, dass eine andere oder ähnliche Studie mit einem ähnlichen oder abweichenden Ergebnis vorliegt. Dann sprechen wir von Replikation. Solche Originalarbeiten sind die Einzelwährung der empirischen Forschung.

Allerdings könnte man auf einem Sammelsurium von Daten keine Wissenschaft aufbauen, auch wenn sie noch so gut wären. Sie müssen auch geordnet, bewertet und miteinander vernetzt werden. Das leisten andere Arten von originalen Arbeiten: theoretische Arbeiten, Überblicksarbeiten, die einen Erkenntnisstand zusammenfassen, analytische Texte, die Gemeinsamkeiten und Abweichungen analysieren und daraus Schlüsse ziehen oder theoretische Modelle vorschlagen. Meta-Analysen fassen empirische Daten quantitativ zusammen, systematische oder narrative Überblicksarbeiten in einem Erzähltext. Auch Meta-Analysen werden in der Regel als Originalarbeiten geführt. Denn sie erzeugen eine neue Form von synthetisierender Erkenntnis. Alle diese Formen der wissenschaftlichen Literatur – empirische Originalarbeiten, Überblicke, Reviews und Meta-Analysen, analytische und theoretische Texte – enthalten neuartige Information.

Davon abzuheben wären Texte, die diese Art der Information kommentieren, bewerten oder kontextualisieren. Das kommt vor in Form von Editorials. Das sind kommentierende, Meinungen transportierende Texte von Menschen, die als Herausgeber oder Gutachter in Journals tätig sind und entweder eigenmotiviert oder auf Anfrage durch die Herausgeber Texte schreiben. Viele Journals enthalten auch Rubriken für Zuschriften und Briefe. Solche Texte sind bei guten Zeitschriften ebenfalls kontrolliert und enthalten entweder Meinungsäußerungen zu publizierten Artikeln – etwa Widerspruch oder Kommentare – oder eigene kleine Befunde, oder weisen Leser einer Zeitschrift auf anderswo publiziertes Material hin.

Übersichten und Buchkapitel

In der Regel spielt sich die Hauptaktivität der Wissenschaft – zumindest in den empirischen Wissenschaften – in Zeitschriften ab (das ist in den Geisteswissenschaften anders; dort ist immer noch die wissenschaftliche Monographie die Hauptwährung). Dies ist ein reichlich unübersichtliches Gelände. Denn es gibt zu allen möglichen Fachgebieten viele verschiedene Zeitschriften. Und nicht immer ist alles, was zu einem Gebiet gehört auch fein säuberlich dort publiziert. Daher sind nach einer Weile Zusammenfassungen eines Forschungsgebietes sehr nützlich, bei denen sich die Autoren die Mühe gemacht haben, quer durch die verschiedenen Zeitschriften, mit Hilfe verschiedener wissenschaftlicher Datenbanken und im Idealfall auch durch Nachfragen bei Autoren, alle verfügbare Information zusammenzutragen. Diese werden dann häufig wiederum in Zeitschriften als Meta-Analysen, systematische oder narrative Reviews publiziert. Sie sind deswegen wichtig und gehören zu den meistzitierten Arbeiten der Literatur, weil jeder, der sich in einem Gebiet neu informieren will, sich zunächst einmal selber einen Überblick verschafft, indem er oder sie solche Überblicksarbeiten liest.

Sehr häufig wird zu einem späteren Zeitpunkt nie wieder auf die Originale zurückgegriffen, sondern nur noch auf den „Stand der Kunst – state of the art“, wie er von einer autoritativen Zusammenfassung formuliert wurde.

Diese Aufgabe fällt häufig auch Buchkapiteln zu. Sie sind ausnahmslos Bestandteil sogenannter Herausgeberwerke. Hier fragen Wissenschaftler, die sich in einem Gebiet kundig gemacht haben, andere an, ob sie zu einem bestimmten Thema Texte zusammenstellen – Zusammenfassung der empirischen Befunde, Theorie, eigene Daten, oder alles zusammen – und liefern damit zu einem bestimmten Thema einen großen Überblick. Der kann für solche Leser nützlich sein, die nicht in die Tiefe der Forschung vordringen können oder wollen, oder sich ein erstes Bild über den Forschungsstand machen wollen. Nicht selten gehen solche Herausgeberwerke aus Konferenzen oder Symposien hervor, zu dem Meinungsführer oder renommierte Forscher eingeladen wurden.

Solche Übersichten und Buchkapitel sind also die zweite Ebene des wissenschaftlichen Informationsflusses.

Handbuchartikel, Lexika und Lehrwerke

Noch eine Stufe weiter vom originalen Forschungsprozess entfernt sind Zusammenfassungen für den allgemeinen oder weniger spezialisierten Leser. Diese finden wir in aller Regel in Handbüchern, Lexika oder Lehrbüchern. Handbücher sind oft noch für spezialisierte Leser geschrieben, aber häufiger für solche, die sich einen allgemeineren Überblick verschaffen wollen, oder für Praktiker oder Wissenschaftler anderer Fachdisziplinen. Lexika dienen einer sehr allgemeinen Information aller möglichen Leser, und Lehrwerke und Lehrbücher sind Einführungen für Einsteiger, die sich mit dem Stand der Wissenschaft auf einem Gebiet vertraut machen wollen.

Die Komplementarität von Präzision und Verständlichkeit und die Halbwertzeit des Wissens

Wir sehen an dieser Darstellung: Originalarbeiten sind sehr nahe am Forschungsprozess. Daher sind sie häufig auch sehr schwer zu verstehen, dafür aber in aller Regel präzise und genau. Meistens machen sie sehr viele Voraussetzungen und sind daher für den Nichtspezialisten schwer verständlich. So muss man etwa viele Methodenkenntnisse mitbringen, Hintergrundwissen über das beforschte Thema, Vorwissen, das nur begrenzt geliefert wird, weil es als selbstverständlich vorausgesetzt wird. Präzision und Verständlichkeit schließen sich in einem originalen Artikel in der Regel aus, weil nur begrenzt Platz zur Verfügung steht und weil der Autor einer Originalarbeit eine bestimmte Art des neuen Befundes kommunizieren will und daher Kontext und Hintergrund nur zu einem gewissen Grad vermittelt. Daher sage ich, Verständlichkeit und Präzision seien komplementär. Sie sind es hier nur in einem pragmatischen Sinne. Denn im Prinzip könnte man Verständlichkeit und Präzision zusammen erreichen, aber nur um den Preis sehr ausführlicher Darstellung, die sich für Zeitschriftenartikel verbietet.

Allerdings geschieht auf der Ebene der Originalarbeiten, jedenfalls in den Lebenswissenschaften, oft folgendes: Befunde überholen sich, werden von anderen kontextualisiert, werden durch Gegenbefunde relativiert, von späteren Studien als nur begrenzt gültig qualifiziert, usw.. Mit anderen Worten: die Ebene der Originalbefunde verändert ihr Gefüge rasch. Die Halbwertzeit des Wissens, etwa im medizinischen Bereich, aber auch in der Psychologie, ist kurz. Was in einem Artikel aus dem Jahr 2010 publiziert ist, muss heute nicht unbedingt mehr stimmen.

Daher gibt es auch eine weitere Komplementarität: die zwischen Verständlichkeit und Gültigkeit. Die verständlicheren Texte – Lehrbücher, Buchkapitel, Lexika – transportieren oft Wissen, das zum Zeitpunkt ihrer Publikation schon wieder überholt ist. Zwar sind die Texte gut lesbar. Aber ihr Inhalt ist nicht unbedingt so zuverlässig wie der von Originalarbeiten.

Die Gültigkeit von Wissen und der Peer-Review (und was er nicht leistet)

Eines der qualifizierenden Merkmale wissenschaftlicher Literatur ist die Qualitätssicherung, die der sog. Peer-Review leisten soll. Was verstehen wir darunter? Wissenschaftliche Zeitschriften werden eingeteilt in solche, die „peer-reviewt“, also begutachtet sind und solche, die es nicht sind. Letztere sind meistens reine Herausgeberzeitschriften, bei denen der Herausgeber alleine entscheidet, was publiziert wird und was nicht. Das müssen nicht unbedingt schlechte Zeitschriften sein, wenn Herausgeber oder Herausgebergremium sachkundig sind. Viele, historisch gesehen wichtige Arbeiten – etwa die Arbeiten Einsteins zur Relativitätstheorie – wurden in solchen Herausgeberzeitschriften publiziert, und überhaupt sind die Texte wissenschaftlicher Diskussionen früherer Zeiten ausschließlich in Journalen von „gelehrten Gesellschaften“ publiziert worden. Dort konnte publizieren, wer etwas Neues zu sagen hatte. Weil die Zahl derer, die gerne publizieren wollen groß und der Platz in den „guten“ Journalen begrenzt ist, gibt es eine Auswahl, die umso härter ist, je angesehener das Journal ist, jedenfalls in den Lebenswissenschaften.

Wie aber wird entschieden? Die erste Linie der Entscheidung wird von einem Editionsbüro getroffen. Je nach Zeitschrift prüft ein akademischer nebenamtlicher, hauptamtlicher oder Verlagseditor die eingegangenen Texte auf Tauglichkeit. Diese Tauglichkeitsprüfung hat oft nichts mit dem Inhalt oder der potenziellen Bedeutung zu tun, sondern beantwortet häufig einfach die Frage: ist unsere Leserschaft wohl an der hier vorgestellten Information interessiert? Passt sie in unsere Zeitschrift? Nur wenn diese Fragen mit ja beantwortet werden, wird der eingereichte Artikel weitergereicht. Dann wird er in den Begutachtungsprozess geschickt. Je nach Zeitschrift sind das 2 bis 4 oder noch mehr Gutachter, die den Text lesen und kommentieren. Je nach Zeitschrift und Herausgeber müssen die Gutachter in ihrem Votum übereinstimmen oder es muss sich ein klares Mehrheitsvotum abzeichnen, dem sich der Herausgeber in der Regel anschließt, aber nicht anschließen muss. Häufig haben die Gutachter Änderungswünsche, die die Autoren dann berücksichtigen müssen, damit die Arbeit akzeptiert und publiziert wird.

Schon an dieser Skizze kann man erkennen, was dieser Begutachtungsprozess, der „peer review“, leisten kann und was nicht, und auch was er verhindert. Der Begutachtungsprozess sichert ab, dass eingereichte Arbeiten keine groben Fehler– etwa methodischer Art – gemacht haben, dass sie einigermaßen verständlich sind (denn Gutachter sind Testleser), dass sie in der wissenschaftlichen Gemeinschaft momentan vermittelbare Erkenntnisse berichten. Der Begutachtungsprozess verhindert also falsch Negatives, statistisch gesprochen, er hält den alpha-Fehler klein.

Der Begutachtungsprozess kann nicht sicherstellen, dass die Information wichtig ist, dass sie relevant und weiterführend ist. Und der Begutachtungsprozess kann schon gar nicht sicherstellen, dass nicht etwas sehr wichtiges übersehen wurde. Denn dies wird in der Regel schon vorher gefiltert: Arbeiten, die vom Editionsbüro schon im Vorfeld abgelehnt werden, „weil sie für die Leser dieser Zeitschrift nicht von Interesse sind“, „weil sie Information enthält, die nicht dem derzeitigen Stand des Wissens entsprechen können“, oder wie die Ablehnungsgründe alle heißen, könnten im Prinzip extrem interessante Information bergen, die nie von irgend einem Gutachter gesehen werden. Wenn Autoren sehr hartnäckig sind, dann kann es durchaus sein, dass solche Information irgendwo in der wissenschaftlichen Literatur landet, aber eben nicht in den Top-Journalen, sondern irgendwo am Rande.

Das bedeutet: der wissenschaftliche Qualitätssicherungsprozess ist konservativ. Er garantiert, dass nicht viel Falsches publiziert wird. Aber er garantiert nicht, dass alles was wichtig und spannend ist, publiziert wird. Und er garantiert schon gar nicht, dass das, was nicht publiziert ist, auch tatsächlich irrelevant oder falsch ist. Denn auch hier kommt wieder das kollektive Element zum Tragen: nur, was mehrheitsfähig ist, wird in den Mainstream-Journalen publiziert. Der Rest erscheint am Rand oder gar nicht. Mit anderen Worten: der Peer-Review ist vor allem ein Instrument der Machterhaltung und der Sicherung des Status Quo. Das ist auch mittlerweile von der Forschung zu diesem Thema anerkannt [1-3]. Peer-Review kann basale Gültigkeit der Ergebnisse sichern und soziale Vermittelbarkeit von Befunden. Aber auch nicht mehr, und selbst das nur mit Einschränkungen. Denn auch Gutachter sind Menschen mit Vorlieben und Vorurteilen, mit Vormeinungen und Begrenzungen.

Peer Review kommt aber nicht nur bei Journalen vor. Auch gute Wissenschaftsbuchverlage – die „University Press“ Verlage und die großen Wissenschaftsverlage, wie Springer, Elsevier, Wiley, Blackwell, MIT Press – sichern sich durch Peer-Review ab. Allerdings muss man folgendes bedenken: Gutachter von Zeitschriften arbeiten gratis. Es ist sozusagen Dienst an der wissenschaftlichen Gemeinschaft, und man bekommt allenfalls einen ideellen Punkt, wenn man bei einer Zeitschrift Gutachter war. Man kann ein bisschen gestaltend in den Wissenschaftsprozess eingreifen und fühlt sich dabei irgendwie wichtig. Aber für die Begutachtung von Büchern erhält man in der Regel etwas – Geld, Büchergutscheine, zwar nicht viel, aber immerhin. Allerdings ist das Begutachten von Büchern in der Regel sehr aufwändig. Also wird dies meistens von Leuten gemacht, die viel Zeit haben, am Anfang ihrer Karriere stehen, die einem Herausgeber einen Gefallen tun wollen, oder die am Thema Interesse haben.

Andere Herausgeberwerke oder Lehrbücher werden meist nicht oder nur von Reihenherausgebern begutachtet. Hier steht also vor allem die Sachkundigkeit der Verlagseditoren als Garant für die Brauchbarkeit, etwa eines Lehrbuches, oder die von den Verlagseditoren engagierten Herausgeber.

Was der Begutachtungsprozess aber auf keinen Fall leisten kann ist folgendes: häufig machen wir den Fehlschluss, dass das, was nicht wissenschaftlich publiziert ist, also in der wissenschaftlichen Literatur nicht vorkommt, auch nicht vorhanden, nicht relevant oder falsch ist. Denn, so die implizite Vermutung, wenn es denn so wäre, dann hätte man das doch irgendwo gefunden oder publiziert. Wie der kurze Abriss oben deutlich machen sollte, können wir aber vermerken: dies kann weder der wissenschaftliche Prozess, noch der Qualitätssicherungsprozess im Publikationsgeschehen leisten. Der wissenschaftliche Prozess ist sozial strukturiert und folgt dem, was mehrheitsfähig und für die Meinungsführer interessant ist. Und der Publikationsprozess bildet dies ab. Er sorgt allenfalls mit einer konservativen Note dafür, dass nichts publiziert wird, das eklatante Fehler methodischer Art oder Unverständliches enthält. Und nicht einmal das ist garantiert.

Beispiel – Der Masernvirenprozess und die Literatur, auf der er aufbaut

Ich hatte in meinem Blog, Teil 17, den Masernvirenprozess als Beispiel für die soziale Natur einer wissenschaftlichen Tatsache, hier des Masernvirus, herangezogen. Wir erinnern uns: Dr. Lanka hatte einen Preis von 100.000 Euro ausgesetzt für jemanden, der ihm eine wissenschaftliche Publikation bringt, die wissenschaftlich einwandfrei die Existenz des Masernvirus belegt. Dr. Bardens hatte die Herausforderung angenommen und 5 Publikationen beigebracht. Weil Lanka nicht bezahlt hat, hat er ihn verklagt. In erster Instanz hatte er gewonnen. Ich habe mir die Arbeiten daraufhin angesehen und musste zu meiner Überraschung feststellen, dass die Herausforderung von Lanka gar nicht so blauäugig war, wie sie beim ersten Anblick aussah. Denn die 5 Publikationen bauten alle aufeinander auf und in einem solchen Gebäude ist die Schlüssigkeit der allerersten der Eckstein, der alles hält. Bricht diese ein, ist der Rest Makulatur.

Ich hatte darauf hingewiesen, dass die methodische Güte dieser ersten Arbeit nicht so einwandfrei war, obwohl in der wissenschaftlichen, begutachteten Literatur publiziert. Ich hatte auch darauf hingewiesen, dass spätere Arbeiten die Gültigkeit dieser ersten Arbeit voraussetzen und die Vorsichtsformulierungen und Eventualitäten, die man der ersten Arbeit entnehmen kann, einfach missachteten.

Interessanterweise hat nun Lanka in der Berufung gewonnen. Das Oberlandesgericht Stuttgart hat die Klage von Bardens abgelehnt. Lanka muss nicht zahlen. Die Behauptung, dass es keine wissenschaftliche Arbeit gibt, die das Masernvirus einwandfrei beweist, steht immer noch unwidersprochen, und mittlerweile relativ stark, im Raum.

Was ist hier geschehen? Offenbar hat eine allererste Arbeit durchaus einen interessanten Befund zu Tage gefördert, der im Klima der damaligen Forschung das zu belegen schien, was alle erwarteten, nämlich einen spezifischen Erreger der Masern. Der erste Prüfungsprozess verlief positiv, die Arbeit wurde publiziert. Dass die Arbeit viele „wenn“ und „aber“ enthielt, Vorsichtsformulierungen und Mahnungen, wird schon ein, zwei Jahre später ignoriert. Es genügt die Referenz auf die publizierte Arbeit und schon wird eine Tatsache geschaffen. Mehrheitsdruck entsteht und alternative Denkweisen oder Herangehensweisen verschwinden. Wissenschaftliche Literatur hat also auch etwas von einem Bahngeleise: es spurt Denken und Forschen in eine bestimmte Richtung. Denn wer sie liest, sieht was „publizierbar“ ist, also was mehrheitsfähig ist, was „man“ derzeit so hören und lesen will. Und plötzlich rennen und schauen alle nur noch in eine Richtung. Wissenschaftliche Literatur ist also, obwohl qualitätsgesichert, nicht fehlerfrei und nicht unfehlbar.

Populäre Literatur und Wikipedia

Häufig wird von Studierenden populäre Literatur oder Wikipedia zitiert. Warum ist dies problematisch? Wir sahen oben, dass schon die Gültigkeit der wissenschaftlichen Literatur begrenzt ist und die Verlässlichkeit mit Vorsicht zu genießen. Dies gilt für populäre Literatur noch mehr und für Wikipedia auch. Aber aus unterschiedlichen Gründen.

Populäre Literatur

Populäre Literatur, etwa in Form von Sachbüchern oder Artikeln aus Publikumszeitschriften, auch wenn es sich um Produkte der sog. Qualitätspresse wie der SZ oder der Zeit handelt, ist primär nicht wissenschaftlich, sondern von Journalisten für die Öffentlichkeit geschrieben. Journalisten verstehen zwar oft etwas mehr als andere von der Sache, aber auch sie haben Grenzen – was die Zeit angeht, die sie für das Verständnis einer Sache aufwenden können, oder was ihre Unvoreingenommenheit angeht.

Und Journalisten stehen immer unter dem Diktat der Redaktion, die vor allem politisch-gesellschaftliche Interessen hat. Entweder hat sie ein makropolitisches Interesse, das von den Eignern oder Herausgebern vorgegeben wird, oder ein mikropolitisches, das durch Inserenten und deren Gefühlslage bestimmt wird. In jedem Fall kann populäre Literatur aus Zeitschriften in der Regel nur dazu dienen, die originalen Quellen zu lokalisieren und diese selber in Augenschein zu nehmen.

Das gleiche gilt für populäre Magazine wie Psychologie Heute, Raum & Zeit, Hirnforschung und ähnliches. Sie taugen allenfalls als Steinbruch, um die Originale leichter zu finden, aber nicht als wissenschaftliche Quelle. Dafür ist die Information meistens zu stark vorgekaut. Auch populäre Sachbücher sind mit Vorsicht zu genießen, es sei denn, ein Autor fasst dort in eigenen, einfachen Worten die Befunde zusammen, die er oder sie selber in der wissenschaftlichen Literatur publiziert hat. Sobald ein weiterer Autor diese Aufgabe übernimmt, ist Vorsicht geboten.

Wikipedia

Wikipedia ist ein eigenes Kapitel. Die Tatsache eines frei zugänglichen Online-Lexikons, an dem jeder mitschreiben kann und das damit immer up-to-date ist, ist natürlich an sich grandios. Ich selber nutze die Onlineenzyklopädie gern in allen Fällen, wo es um einfache und relativ unstrittige Sachinformationen geht – Lebensdaten von Personen, kurze erste Informationen zu Inhalten, Fakten zu biologischen oder biochemischen oder ähnlichen Sachverhalten, Flaggen oder Bruttoinlandsprodukte von Ländern, Einwohnerzahlen von Städten, etc. Wann immer Bewertungsfragen ins Spiel kommen ist Vorsicht geboten.

Denn während bei einer klassischen Enzyklopädie der Sachverstand der angefragten Autoren und der Herausgeber die Qualität der Information einigermaßen garantieren, ist dies bei Wikipedia reichlich unklar. Zwar müssen Behauptungen hinterlegt sein, meistens durch Referenzen. Aber was geschieht, wenn die Referenz dubios ist, oder wenn zirkulär zitiert wird, etwa indem eine Referenz auf einen Artikel verweist, der wiederum auf einen anderen rückverweist der eigentlich die Information enthalten sollte, aber nicht tut?

Gerade bei strittigem Material zeigt sich, dass die anonyme Struktur der Autorschaft bei Wikipedia dazu verleitet, dass weltanschaulicher Streit auf eine offene Plattform getragen wird unter dem Banner der vermeintlichen Faktizität. Ein gutes Beispiel ist die Homöopathie. Der Mainstream – und mit ihm Wikipedia – geben den Eindruck, als sei alles klar: Homöopathie wissenschaftlich belegt unwissenschaftlich, Punkt, Strich drunter, fertig. Eine bei uns angefertigte Doktorabeit von Marius Beyersdorff [4], hat analysiert, wie strittig dies alles ist und wie stark gerade Wikipedia durch Machtdiskurse verzerrt ist. Mehr als tausend Edits und viele Schließungen – sog. „edit wars“ bei denen sich Meinungsgegner bekämpfen und gegenseitig löschen, bis der Artikel gesperrt wird – konnte Beyersdorff verzeichnen. Und dabei sieht man: am Ende sind einige wenige Autoren aktiv, die fast rund um die Uhr nichts anderes tun als zu versuchen, ihre Meinung durchzusetzen, für die jede Seite gute Argumente und ebenso gute Referenzen aufbieten kann.

Unlängst hat der Filmemacher Markus Fiedler [5] einen Film über „Die dunkle Seite der Wikipedia“ vorgestellt. Denn er hat entdeckt, dass er plötzlich beschimpft und aufs Übelste gemaßregelt wurde, als er einen Sachverhalt klarstellen wollte. Daraus ergibt sich: wann immer es um Sachverhalte geht, die nicht völlig unstrittig und politisch unbedenklich sind, ist Wikipedia eine fragwürdige Quelle. Sie kann durchaus dazu dienen, zu den Quellen vorzustoßen, die ja mindestens teilweise zitiert werden. Aber sie kann nicht dazu dienen, das wissenschaftlich klare und unumstößliche Wissen vorrätig zu halten. Denn dazu sind die Hintergrundstrukturen derer, die dort die Definitionsmacht des Wissens haben nicht transparent genug.

Letzteres gilt zwar tendenziell auch für wissenschaftliche Publikationen im eigentlichen Sinne. Aber hier könnte man zumindest Klarheit nötigenfalls einfordern und dies ist auch in Rekursprozessen schon des öfteren geschehen. Bei Wikipedia ist unklar, welche Kompetenz die Autoren von Artikeln haben, und nicht selten scheinen Menschen, deren Berufsbiographien anderweitig ins Stocken geraten sind, aus der Autor- und Herausgeberschaft bei Wikipedia Ansehen zu beziehen [4].

Die verborgene Hierarchie wissenschaftlicher Information

Häufig liest man in Zeitungen davon, eine Arbeit sei in einer „renommierten“ oder „hochrangigen“ Zeitschrift publiziert worden, oder szientometrische Merkmale wie der „Impact-Faktor“ einer Publikation, oder gar eines Autors werden zitiert. Was verbirgt sich dahinter?

Rangfolgen, Hierarchisierungen und Bewertungen scheinen im menschlichen sozialen Gefüge implizit zu sein. So auch im Rahmen der wissenschaftlichen Information. Es ist auch leicht einsehbar: unsere Lektürezeit ist begrenzt und jeder versucht die für ihn oder sie wichtigste Information zu erreichen. Wie tun wir das? Wir nehmen Informationsquellen zur Hand, von denen wir glauben, dass sie die wichtigste Information enthält und vertrauen darauf, dass andere, oder uns verborgene, sekundäre Prozesse dafür sorgen, dass sie die Information entsprechend vorfiltern.

Daher werden Informationsorgane, die in der Vergangenheit dafür bekannt waren, wichtige, richtige und bedeutende Information zu transportieren immer beliebter und von immer mehr potenziellen Autoren angefragt, ob sie deren Ergebnisse publizieren wollen. Da der Platz begrenzt ist, wählen die Organe aus. Sie wählen aus, was sie glauben, dass für ihre Klientel am wichtigsten und von ihnen am liebsten gesehen wird. So kommt es eben, dass im medizinischen Bereich Journals wie das New England Journal of Medicine, das Journal of the American Medical Association (JAMA) oder Lancet zu den Flaggschiffzeitschriften werden. Diese publizieren dann nur noch bestimmte Typen von Studien – derzeit z.B. große randomisierte klinische Studien oder sehr große, lange epidemiologische Studien – die von Interesse für eine große allgemeine Leserschaft sind.

Im allgemein naturwissenschaftlichen Bereich sind es dann Journals wie Science oder Nature mit ihren jeweiligen Dependance-Journals, die diese Funktion erfüllen. Darunter ordnen sich andere Journals ein, die beispielsweise großen Fachverbänden als Sprachrohr dienen. Weil diese Zeitschriften weltweit eine große Leserschaft haben, werden die in ihnen publizierten Arbeiten auch viel gelesen und häufiger zitiert als andere.

Damit erreicht ein Aufsatz einen hohen „Impact“, große Wirkung. Denn der Impact einer Zeitschrift errechnet sich daraus, wie häufig Publikationen einer Zeitschrift von Arbeiten in anderen Zeitschriften zitiert werden, gemessen an der Anzahl von Arbeiten die dort publiziert wurden. Ein Impactfaktor von 10 bedeutet also, dass jeder in einer Zeitschrift in den letzten beiden Jahren publizierte Aufsatz im Durchschnitt zehnmal von anderen Publikationen zitiert wird. Damit ein Aufsatz in einem kleineren Fachjournal viel zitiert wird, muss er nicht nur sehr gut sein, er muss auch auf einen Nerv der Zeit treffen, also über Suchstrategien gefunden, gelesen und zitiert werden.

Daher wollen zunächst alle möglichst in den sog. High-Impact Journalen publizieren, woraus sich ein fataler Effekt ergibt: man forscht, schreibt und publiziert, was man denkt (oder aus Erfahrung weiß), dass diese Zeitschriften publizieren werden. Dies kommt letztlich einer Selbstzensur der wissenschaftlichen Gemeinde gleich. Es befördert tendenziell konservativ-konsensuelles Denken und Arbeiten und steht jenem anarchistisch-kritischen Impuls entgegen, der eigentlich von jeher die Triebfeder wissenschaftlichen Denkens ist [6].

Das vielzitierte Renommé von Zeitschriften oder Autoren kommt also daher, dass sie von anderen viel gelesen und viel zitiert werden. Das ist sicherlich nichts Schlechtes. Es ist aber auch noch keine Garantie für Güte oder Originalität. Es sagt lediglich aus, dass jemand Material publizieren kann, das für den Mainstream der Wissenschaft interessant ist und dort rezipiert wird. Die Wissenschaftsgeschichte ist voll von Beispielen, dass bahnbrechende Entdeckungen gerade nicht im Zentrum, sondern am Rande der Wissenschaft gemacht wurden [7]. Leibniz, dessen Todestag sich vor kurzem zum 300. Mal gejährt hat und der heute als einer der größten Universalgelehrten der modernen Zeit gilt, war zu seinen Lebzeiten akademisch nie im Zentrum des Geschehens und wurde von der Royal Academy und zeitweise auch von der Französischen Akademie mit Skepsis beäugt [8].

Die Beispiele sind zahllos. Sie sollen sagen: im Rahmen des Mainstreams gut publizieren zu können, oder im Mainstream publiziert zu sein, ist für Autoren schön und zeigt dem Leser, dass es sich um einen einigermaßen unstrittigen Sachverhalt handelt. Es heißt aber noch lange nicht, dass der Sachverhalt wichtig, richtig oder bedeutsam ist. Und die Tatsache, dass etwas nicht im Rahmen des wissenschaftlichen Mainstreams diskutiert wird, bedeutet im Umkehrschluss auch nicht, dass es als Thema uninteressant, falsch oder widerlegt sei, wie häufig angenommen wird. Das ist nur dann der Fall, wenn sich die Wissenschaft einmal sehr gründlich und über längere Zeit mit einem Sachverhalt auseinandergesetzt und Behauptungen eindeutig widerlegt hat. Weil aber Wissenschaft meistens danach strebt, etwas im positiven Sinne zu finden und zu belegen, ist die Menge all der Dinge und Sachverhalte, die es auch noch geben könnte, und über die die Wissenschaft noch keine endgültige Aussage getroffen hat zahllos.

Häufig begehen allerdings Anhänger von Randtheorien den Fehler, dass sie meinen etwas sei „wissenschaftlich“ belegt, wenn etwas in irgendeiner wissenschaftlichen Zeitschrift publiziert ist. Das ist, wie mein Blog Nr. 17 gezeigt hat, nicht haltbar. Denn „wissenschaftlich belegt“ heißt nicht, in einem wissenschaftlichen Fachorgan publiziert, sondern „von der Mehrheit der wissenschaftlichen Gemeinschaft als unstrittig akzeptiert“. Und das sind durchaus unterschiedliche Dinge. Umgekehrt kann etwas „wissenschaftlich“ akzeptiert sein, etwa wenn es in Mainstream-Medien publiziert und damit durch mehrheitlichen Segen geläutert erscheint, und dennoch in einem wissenschaftlichen Sinne fragwürdig. Dazu gehört z.B. ein großer Teil der Psychopharmakologie. Er ist Bestandteil der großen Leitlinien, wird überall praktiziert, ist in den besten Journals publiziert. Und doch ist die Diskussion wieder neu eröffnet, sobald wirklich kundige und renommierte Autoren substanzielle Kritik publizieren, die gehört und zur Kenntnis genommen wird, wie unlängst Peter Gøtzsche in seinem neuen Buch [9],.

Wir sehen also: wissenschaftliche Information ist weniger sicher, als wir normalerweise meinen und wissenschaftliche Befunde sind weniger festgefügt, als es den Anschein hat. Das liegt in der Natur der Sache. Denn eines der definierenden Prozessmerkmale von Wissenschaft ist die Skepsis auch ihren eigenen Befunden und bislang für sicher gehaltenen Tatsachen gegenüber. Daher kann man wissenschaftliche Information immer nur operational und formal, aber nie inhaltlich definieren.

Zum Schluss: Ad Fontes

Ich weiß nicht, wie viele Zitate ich in meiner Laufbahn schon nachverfolgt habe und damit im Orkus der Information gelandet bin. Geschätzte 30% aller Quellen die ich nachverfolgt habe waren entweder falsch zitiert oder enthielten nicht die Information, die angegeben war. Noch sehr gut in Erinnerung ist mir Marcello Truzzi, der Begründer des „Skeptical Inquirer“, der in einem Vortrag am NIH, ich glaube 1995, gesagt hat, dass Harvey bei der Entdeckung des Herzschlags europaweit Gelächter und Kritik geerntet habe und keiner ihm glaubte. Ich fand diese Behauptung so ungeheuerlich, dass ich Truzzi, um seine Quellen bat. Er schickte sie mir. Ich folgte ihnen. Sie führten alle ins Nichts und waren entweder falsch oder irrelevant. Aber Truzzi hatte recht, wie ich dann herausfand, als ich selber suchte: Emilio Parisano, der Wortführer der europäischen Ärzteschaft, hatte wirklich geschrieben, dass „keiner in Venedig einen Herzschlag hören kann“ [10]. Allerdings stand das in keiner der Quellen, die mir Truzzi genannt hatte, es stand nur in der, die ich mir selber gesucht hatte. Truzzi war ein guter Wissenschaftler. Vielleicht hat er sich in der Eile nur geirrt.

Man kann aber daraus lernen: wann immer etwas wichtig ist, sollte man sich nicht mit tertiären oder sekundären Quellen begnügen, sondern zu den primären Quellen gehen. Das sind die Originalstudien, die Ursprungszitate, die originalen Autoren.

In Naturheilkreisen ist etwa das Zitat beliebt, das man dem Hippokrates zuschreibt: „Deine Nahrung sei Deine Medizin, Deine Medizin sei Deine Nahrung.“ Ich weiß nicht auf wie vielen Vortragsfolien, Aufsätzen oder sonst wo ich dieses Zitat schon gesehen habe. Weil ich es neulich einmal verwerten wollte, habe ich es durch eine Hilfskraft suchen lassen, einen ganzen Tag lang: quer durch das Corpus Hippocraticum, rauf und runter, und nicht gefunden. Vermutlich handelt es sich dabei um eine sinngemäße Zusammenstellung hippokratischer Lehre, aber nicht um einen Spruch der wörtlich so zu finden ist.

Daher: Ad fontes – zu den Quellen. Wann immer möglich, original lesen, Zitate zurückverfolgen und allen sekundären Kolportierern misstrauen. Immer, überall. Auch mir.

Quellen
[1] Hopewell, S., Collins, G. S., Boutron, I., Yu, L.-M., Cook, J., Shanyinde, M., et al. (2014). Impact of peer review on reports of randomised trials published in open peer review journals: retrospective before and after study. British Medical Journal, 349, g4145.
[2 ]Lee, C. J., Sugimoto, C. R., Zhang, G., & Cronin, B. (2013). Bias in peer review. Journal of the American society for Information Science and Technology, 64, 2-17.
[3] Ritter, J. M. (2011). Impact, orthodoxy and peer review British Journal of Clinical Pharmacology, 72, 367-368.
[4] Beyersdorff, M. (2011). Wer definiert Wissen? Wissensaushandlungsprozesse bei kontrovers diskutierten Themen in „Wikipedia – Die freie Enzyklopädie“ – Eine Diskursanalyse am Beispiel der Homöopathie. Berlin: Lit-Verlag.
[5] http://www.nachdenkseiten.de/?p=28035
http://www.nachdenkseiten.de/?p=28035#podPressPlayerSpace_2
[6] Pörksen, B. (2015). Wo seid Ihr, Professoren? Die Zeit(31),
http://www.zeit.de/2015/2031/wissenschaft-professoren-engagement-oekonomie
[7] Fischer, K. (2006). Aussenseiter der Wissenschaft: Besichtigung einer Lebenslüge kollektiv organisierter Wissenschaft. Forschung & Lehre, 10, 560-563.
Silver, R. B. (Ed.). (1997). Hidden Histories of Science. London: Granta Books.
[8] Antognazza, M. R. (2009). Leibniz: An Intellectual Biography. Cambridge: Cambridge University Press.
[9] Gotzsche, P. C. (2015). Deadly Psychiatry and Organised Denial. Copenhagen: People’s Press.
[10] Parisano, E. (1647). Recentiorum disceptationes de motu cordis, sanguinis et chyli. Leiden: Ioannis Maire, p. 107