Du möchtest einen Artikel, ein Buch oder eine Webseite in deiner Abschlussarbeit zitieren, bist dir aber unsicher, ob es sich dabei um eine vertrauenswürdige Quelle handelt? Nach dem Schnelltest mit CRAAP findest du hier vertiefende Informationen, die dir bei der Beurteilung helfen. Wir zeigen dir, wie du Texte formal und inhaltlich anhand der klassischen „W-Fragen“ analysieren kannst: Wer einen Text wo veröffentlicht hat, wie der Text zustande gekommen ist und von der Wissenschaft aufgenommen wurde, und was er aussagt.
Formale Qualitätsmerkmale
Wer?
Wer einen Text wo veröffentlicht hat, kann schon einiges über seine Qualität verraten. Hinter jedem Text steht zumindest eine Person, die ihn zu verantworten hat: ein*e Autor*in; Herausgeber*in oder Zeitschriftenredaktion, die eine Veröffentlichung in einem Sammelband oder einer Zeitschrift mittragen; auch Webseiten erscheinen im Namen von Personen oder Institutionen. Zunächst solltest du daher fragen, was eine Person oder Institution dazu qualifiziert, sich zu einem bestimmten Thema zu äußern, und einen näheren Blick auf den fachlichen Hintergrund der an der Publikation Beteiligten richten.
- Prüfe, ob die*der Autor*in über Sachverständigkeit in dem betreffenden Fachgebiet verfügt, etwa durch einen akademischen Titel oder eine Tätigkeit an einer wissenschaftlichen Institution wie einer Universität, einer Forschungseinrichtung oder einer sonstigen akademischen Vereinigung.
- Schau dir die Veröffentlichungen des*der Verfassenden an: Suche nach anderen Arbeiten, die in renommierten wissenschaftlichen Zeitschriften oder Verlagen veröffentlicht wurden. Wie häufig wird die*der Autor*in in verschiedenen Werken zum gleichen oder einem verwandten Thema zitiert? Eine hohe Anzahl an Zitationen kann ein Indiz für Anerkennung und Einfluss in der wissenschaftlichen Gemeinschaft sein.
- Achte auf potenzielle Interessenkonflikte: Ist die*der Autor*in Mitglied einer Gruppierung oder Organisation, die möglicherweise finanzielle oder persönliche Interessen hat, die die Unabhängigkeit beeinflussen und so eine verengte Sichtweise auf ein Thema zur Folge haben könnten? Falls ja, solltest du dabei besonders nach Informationen zur finanziellen und organisatorischen Trägerschaft der Einrichtung, ihren Zielsetzungen und ihrer Geschichte suchen. Potenzielle Interessenkonflikte oder eine einseitige Betrachtungsweise sollten offen dargelegt werden, um die Objektivität einer Quelle zu gewährleisten.
In den meisten Fällen lassen sich diese Fragen bereits durch eine einfache Suche im Internet beantworten. Darüber hinaus verfügen viele Forschende heute über eine ORCID iD, mit deren Hilfe du sie und ihre wissenschaftlichen Leistungen relativ zuverlässig identifizieren kannst. Besonders vertrauenswürdig sind diese Daten, wenn sie – was immer öfter vorkommt – von den Forschungseinrichtungen selbst stammen (nähere Informationen dazu kannst du bei ORCID nachlesen).
Konntest du trotz dessen noch nicht herausfinden, ob eine Person bereits zu einem bestimmten Thema geforscht hat, kann dir ein Blick in den WU Katalog oder in Literaturdatenbanken weiterhelfen. Beide bieten dir die Möglichkeit, gezielt nach Autor*innen zu suchen. Im WU Katalog klickst du dazu auf „Erweiterte Suche“, wählst dort im Drop-Down-Menü „AutorIn“ aus und gibst im ersten Suchfeld den Autor*innennamen ein. Auch die gängigen Literaturdatenbanken ermöglichen eine gezielte Suche nach Autor*innen (in der Abbildung unten siehst du das am Beispiel der Datenbank EconLit).
Wo?
Auch der Ort, an dem ein Text veröffentlicht wurde, kann dir Aufschluss über seine wissenschaftliche Qualität geben. Das gilt besonders für eine Veröffentlichung in traditionellen Medien – in Büchern und Zeitschriften – weniger dagegen im Internet.
Veröffentlichungen in Büchern
Üblicherweise erscheinen wissenschaftliche Bücher in Verlagen, die sich auf das Veröffentlichen von Forschungsliteratur spezialisiert haben. Welche davon unter Forschenden besonders angesehen sind, lässt sich nicht pauschal beantworten. In jedem Fach gibt es dafür unterschiedliche Gepflogenheiten. Dasselbe gilt für sogenannte Schriftenreihen, in denen innerhalb eines Verlages – meist thematisch zusammenhängende – Bücher fortlaufend erscheinen. Solche Schriftenreihen nehmen in manchen Disziplinen einen hohen Stellenwert ein, beispielsweise in den Rechtswissenschaften. Gerade weil es hier keine festen Qualitätskriterien gibt, ist es besonders wichtig, dass du dich mit den an einem Buch beteiligten Personen auseinandersetzt. Tipp: Schau doch mal nach, in welchen Verlagen (und gegebenenfalls Schriftenreihen) die Bücher erscheinen, mit denen du im Studium arbeitest.
Veröffentlichungen in Zeitschriften
Ähnlich wie bei den Verlagen verhält es sich mit dem Ansehen und der Qualität von Zeitschriften: Am besten fragst du deine Lehrenden oder befasst dich damit, welche Zeitschriften in deiner Studienliteratur häufig zitiert werden.
Allerdings wirst du auf diese Weise möglicherweise kaum auf neuere oder weniger bekannte Zeitschriften stoßen. Mangelnde Bekanntheit sagt noch nichts über die Qualität aus. Allerdings solltest du in diesem Fall weitere Informationen einholen. Das kannst du einerseits über eine Internetrecherche tun, oder mit Hilfe der Datenbank Ulrichsweb, welche über die WU Bibliothek online zugänglich ist. Über diese Datenbank lassen sich grundlegende Informationen zu den Zeitschriften in Erfahrung bringen. Hierzu gehört, ob die Artikel ein Begutachtungsverfahren (z.B. Peer Review) durchlaufen oder Informationen zu den Sachgebieten und zum Verlag.
Mittlerweile wird es immer üblicher, Zeitschriften rein digital zu verlegen. Dies hat in der Vergangenheit allerdings wiederholt dazu geführt, dass neue Zeitschriften erschienen, deren Qualität nicht ausreichend sichergestellt war. Inzwischen gibt es Verzeichnisse, die Verleger*innen und Zeitschriften auflisten, denen du mit Vorsicht begegnen solltest:
Zusätzlich können dir bibliometrische Daten einen gewissen Aufschluss darüber geben, wie renommiert eine Zeitschrift oder ein*e Autor*in ist. Durch diese kannst du herausfinden, wie häufig die Artikel einer bestimmten Zeitschrift in anderen Veröffentlichungen zitiert werden.
Was ist Bibliometrie?
Bibliometrie befasst sich mit der quantitativen Analyse von wissenschaftlichen Publikationen. Sie verwendet statistische Methoden und Kennzahlen, um die Verbreitung, den Einfluss und die Struktur von wissenschaftlicher Literatur zu erfassen und zu messen. Einige der wichtigsten bibliometrischen Indikatoren und Kennzahlen sind:
Impact Factor: zeigt an, wie oft Artikel in einer bestimmten Zeitschrift im Durchschnitt zitiert werden. Er wird oft verwendet, um die Reputation und Bedeutung von wissenschaftlichen Zeitschriften zu bewerten.
h-Index (Hirsch Factor): gibt an, wie viele Publikationen (h) einer Autorin oder eines Autors mindestens h Zitate erhalten haben. Der Vorteil am h-Index ist seine Stabilität, da im Vergleich zu anderen Kennzahlen einzelne viel-zitierte Veröffentlichungen des*der Autors*in das Ergebnis nicht verzerren können. Hier findest du nähere Informationen dazu, wie der h-Index berechnet wird.
Altmetrics: sind eine Ergänzung zur traditionellen Bibliometrie und dienen der Messung der Aufmerksamkeit und des Einflusses von Forschungsoutput in sozialen Medien, Blogs, Nachrichtenwebsites, Online-Diskussionsforen und anderen Online-Plattformen.
Diese Indikatoren können ein Ansatz für die Beurteilung der Qualität wissenschaftlicher Veröffentlichungen sein. Allerdings haben sie auch ihre Grenzen. So kann die genaue Berechnung einiger Zitationszahlen intransparent sein und die generelle Bedeutung von Zitationen kann in unterschiedlichen Disziplinen stark abweichen. Zudem benachteiligt eine solche Art der Messung oft junge Wissenschaftler*innen.
Veröffentlichungen im Internet
Im Internet liegt die Schwelle für eine Veröffentlichung immer noch niedriger als in traditionellen Medien. Aber selbst online existieren mittlerweile in so gut wie jeder Wissenschaftsdisziplin Medienformate, die den klassischen in ihrer Qualität nicht nachstehen. Beispiele dafür sind der Verfassungsblog in den Rechtswissenschaften, Soziopolis in den Sozialwissenschaften, und VoxEU für den Bereich der Wirtschaftspolitik.
Ob das bei einem konkreten Online-Medium der Fall ist, kannst du letztlich nur anhand der Inhalte beurteilen, die dort veröffentlicht werden. Es gibt aber ein paar Anhaltspunkte, anhand derer du dir eine erste Orientierung verschaffen kannst:
- Gibt es eine*n Autor*in? Manchmal ist auf einer Website nur schwer ersichtlich, wer für den Inhalt verantwortlich ist. Überprüfe, wer hinter den dort aufbereiteten Informationen steht und welche fachlichen Qualifikationen diese Person oder Organisation mitbringt.
- Welche Schlüsse kannst du aus der Adresse einer Website ziehen? In manchen Fällen kann dir die Domain verraten, um welche Art von Webseite es sich handelt: .com (kommerzielle Seiten), .edu (Bildungseinrichtungen), .org (Non-Profit-Organisationen), gv.at oder .gov (staatlich betreute Webseiten, z.B. Behörden oder Ministerien).
- Wurde die Webseite für kommerzielle oder informative Zwecke eingerichtet? Gibt es offensichtliche Sponsoren? Beachte, dass so etwas den Inhalt einer Webseite beeinflussen kann.
- Gibt es ein Datum der letzten Aktualisierung? Wie aktuell sind die Links, die von der Webseite abgehen?
Natürlich ist die Qualität eines Textes nicht allein daran erkennbar, wer ihn wo geschrieben hat. Am deutlichsten sichtbar wird sie an seinem Inhalt, also an der Frage, wie er zustande gekommen und in welcher Weise er sich mit seinem Thema auseinandersetzt.
Inhaltliche Qualitätsmerkmale
Wie?
Qualitätssicherung vor Veröffentlichung
In der Wissenschaft ist es üblich, dass Texte vor ihrer Veröffentlichung auf ihre Qualität hin geprüft werden. Dieser Prozess erfolgt durch andere Forschende aus der jeweiligen Disziplin, um sicherzustellen, dass die Inhalte zuverlässig und fundiert sind. Solche Qualitätssicherungsmaßnahmen können je nach Medium und Wissenschaftsdisziplin variieren.
Bücher werden oft in Schriftenreihen veröffentlicht, bei denen Herausgeber*innen über die Publikation entscheiden. In anderen Fällen liegt die Entscheidung über den Inhalt eines Buchtextes bei fachkundigen Verlagsmitarbeiter*innen. Wenn dem Buch eine wissenschaftliche Qualifikationsarbeit zugrunde liegt (z.B. eine Dissertation oder Habilitation), findet die fachliche Begutachtung bereits an der Universität statt.
Im Vergleich zu Büchern haben wissenschaftliche Zeitschriften in der Regel eine stärker standardisierte Qualitätssicherung. Autor*innen reichen ihre Texte bei der Redaktion ein, die sie dann zur fachlichen Stellungnahme an Gutachter*innen weiterleitet. Die eingereichte Arbeit wird von ihnen auf ihre Originalität, Methodik, Ergebnisse und Schlussfolgerungen geprüft. Die Gutachter*innen, auch „Reviewer“ genannt, bewerten die Stärken und Schwächen der Arbeit, geben Feedback und können Anmerkungen oder Verbesserungsvorschläge machen. Erst nach einem zustimmenden Qualitätsurteil wird der Text veröffentlicht.
Je nach Fachdisziplin gibt es bei diesem Vorgehen Unterschiede. Diese liegen vor allem in der Auswahl der Gutachter*innen: Sind es die Herausgeber*innen oder Mitglieder der Redaktion? Sind es externe Forschende? Erfahren die Beteiligten die Identität ihrer Gegenüber? Modelle, bei denen die Reviewer nicht feste Mitarbeiter*innen der Zeitschrift sind, sondern Wissenschaftler*innen, die in derselben Fachrichtung wie die*der Autor*in des zu begutachtenden Artikels arbeiten, nennt man Peer Review.
Der WU KatalogPLUS und die gängigen Literaturdatenbanken helfen dir dabei, festzustellen, ob ein Text ein solches Verfahren durchlaufen hat. Du kannst dort durch das Setzen von Filtern nur entsprechende Treffer anzeigen lassen; der KatalogPLUS hebt diese außerdem grafisch hervor:
Qualitätssicherung nach Veröffentlichung
Innerhalb der Wissenschaft gibt es Mechanismen, die auch nach der Veröffentlichung dazu dienen, fachliche Standards durchzusetzen. Ein solches Mittel der nachträglichen Qualitätssicherung für Bücher sind Rezensionen (Besprechungen). Dabei handelt es sich um wissenschaftliche Texte, in denen Forschende sich mit den Werken ihrer Fachkolleg*innen auseinandersetzen. Durch sie bekommst du einen guten Eindruck davon, wie die wissenschaftliche Gemeinschaft ein bestimmtes Buch bewertet.
Übrigens kann dir auch hier der WU Katalog bei der Suche behilflich sein. In vielen Fällen weist er nämlich auf darauf hin, dass Rezensionen für ein Buch verfügbar sind:
Gelegentlich kommt es vor, dass ein Artikel wegen wissenschaftlichen Fehlverhaltens korrigiert oder gar zurückgezogen werden muss. Die Retraction Database dokumentiert derartige Ereignisse. Du solltest sie daher stets auf Beiträge hin durchsuchen, die du in deiner Arbeit verwenden möchtest. Dabei (und nicht nur dabei) können dich Literaturverwaltungsprogramme unterstützen: Zotero und Juris-M sowie EndNote markieren Texte automatisch, wenn sie der Retraction Database zufolge zurückgezogen wurden.
Was?
Absolute Sicherheit über die Qualität eines Textes hast du auch nach Prüfung all dieser Kriterien nicht. Letztendlich ist entscheidend, dass du dich genauer mit dem Inhalt auseinandersetzt. Das kann anspruchsvoll sein und Zeit kosten, aber am Ende ist es genau das, was wissenschaftliches Arbeiten ausmacht. Orientiere dich dabei an den folgenden Leitfragen:
- Ist der Text klar strukturiert? Folgt ein Gedanke auf den nächsten? Oder springt er zwischen den Gedanken und wiederholt sich immer wieder?
- Legt der Text seine Forschungsfrage und die verwendeten Methoden offen?
- An welches Publikum richtet er sich, verfolgt er eine konkrete Intention und wenn ja: welche? Kommen in ihm unterschiedliche Standpunkte zu Wort und werden diese respektvoll behandelt? Wissenschaftliche Texte setzen sich üblicherweise auch mit gegenteiligen Ergebnissen auseinander und vermeiden Befangenheiten und Voreingenommenheit; dort, wo solche doch bestehen könnten, legen sie diese offen.
- Wie unterstützt die*der Autor*in die aufgestellten Thesen? Mit Emotionen und Anekdoten oder mit relevanten und fundierten Argumenten? Oder zitiert die*der Autor*in womöglich vorrangig sich selbst oder Personen aus dem eigenen akademischen Umfeld?
- Wird die Herkunft von Zitaten, Tabellen, und Abbildungen in entsprechenden Verzeichnissen nachgewiesen?
- Ist der Text aktuell oder zumindest immer noch relevant für deine Arbeit?
Bist du an dieser Stelle immer noch unsicher? Traue dich ruhig, mit deinen Studienkolleg*innen über einen Text zu diskutieren oder dich mit Lehrenden zu besprechen. Auch das gehört zum wissenschaftlichen Arbeiten dazu und kann dir bestenfalls sogar neue Perspektiven aufzeigen, die du vorher noch gar nicht bedacht hast.
Quiz
Teste dein Wissen mit unserem Quiz zur Bewertung wissenschaftlicher Quellen!
Literatur und Empfehlungen
Berkeley Library: Evaluating Resources
Concordia University Library: How to evaluate research materials and resources (gegliedert nach Materialart)
Hacker, D. & Sommers, N. (2015). A pocket style manual (Seventh edition). Boston; New York: Bedford/St. Martin’s.
North Carolina State University Library: Evaluating Sources for Credibility (CC BY-NC-SA; mit Transkript)
UB Münster: Suchergebnisse prüfen & bewerten
UB Münster: Fake News & Desinformation
Wikisource: Biographische Recherche
Yale Library: Evaluating Sources
Yale Library: Choosing a Journal for Publication of an Article