Methodik
Diese Methodik wird kontinuierlich auf Basis empirischer Daten verfeinert. Alle Änderungen werden versioniert und dokumentiert. Jeder Text wird nach demselben Maßstab bewertet – unabhängig von Textart, Länge, Thema oder Herkunft.
Wie das Rating funktioniert
Jeder analysierte Artikel eines Medienportals erhält einen individuellen Score. Die Artikel-Scores werden zu einem Gesamtrating für das Portal aggregiert. Der gesamte Prozess ist vollautomatisiert — ohne redaktionelle Einflussnahme oder portalspezifische Gewichtung.
1. Artikel-Score: Vier-Faktor-Modell
Jeder Text wird auf über 30 Überzeugungstechniken in 9 Kategorien analysiert. Der Score (0-100) setzt sich aus vier gewichteten Komponenten zusammen:
Dichte
höchstes GewichtErfasst, wie häufig Überzeugungstechniken auftreten. Die Messung ist längenneutral – gleich viele Techniken ergeben denselben Wert, unabhängig von der Textlänge.
Intensität
hohes GewichtBerücksichtigt den Schweregrad der Techniken (gering/mittel/hoch) und die Relevanz der jeweiligen Kategorie. Wenige, aber starke Techniken wiegen schwerer als viele schwache.
Vielfalt
mittleres GewichtMisst die Bandbreite der eingesetzten Techniken. Ein Text, der viele verschiedene Kategorien mischt, gilt als vielschichtiger als einer, der nur eine Technik wiederholt.
Zusammenwirken
ergänzendes GewichtErfasst Verstärkungseffekte, wenn mehrere unterschiedliche Techniken in derselben Passage – etwa im selben Satz – gemeinsam auftreten.
Kalibrierung & Skala
Aus den vier Faktoren entsteht zunächst ein internes Rohsignal. Dieses wird über eine feste, versionierte Kalibrierungskurve auf den 0–100-Wert abgebildet. Die Kurve ist so verankert, dass ein Text ohne erkannte Techniken den Wert 0 erhält und sich die Bewertungen sinnvoll über die gesamte Skala verteilen. Der Wert ist ein Vergleichsindex (50 entspricht etwa einem typischen Text), kein Prozentsatz. Längenunterschiede werden ausgeglichen, sehr kurze Texte werden als „begrenzte Datenbasis“ gekennzeichnet. Da eine Analyse aus einem bis sechs Analyseschritten bestehen kann, werden Teilanalysen auf ihr erwartetes Vollanalyse-Äquivalent hochgerechnet und fließen mit einem geringeren Gewicht in das Portal-Rating ein — eine gründlichere Analyse verändert so die Vergleichbarkeit nicht. Innerhalb einer Methodikversion bleibt die Bewertung eines Textes stabil.
Modul-Scores & Beitrag
Die Analyse ist in bis zu sechs Module gegliedert (z. B. Kern-Manipulationstechniken, logische Fehlschlüsse, Framing). Jedes Modul erhält zwei Werte: Der Modul-Score (0–100) vergleicht die Signalstärke des Moduls mit dem, was Texte in diesem Modul typischerweise zeigen — 50 entspricht einem typischen Text, 0 bedeutet keine Funde. Jedes Modul wird dabei an seiner eigenen Vergleichsverteilung kalibriert; Module mit noch schmaler Datenbasis nutzen eine gemeinsame, robuste Referenzverteilung und werden bei wachsender Datenbasis automatisch auf eine eigene Kalibrierung umgestellt. Der Beitrag (in %) zeigt, welchen Anteil das Modul am gesamten erkannten Signal dieses Textes hat — die Beiträge aller Module summieren sich zu 100 %. Modul-Scores und Beiträge dienen der Einordnung innerhalb einer Analyse; in das Portal-Rating fließt ausschließlich der Gesamt-Score ein.
2. Portal-Rating: Aggregation
Einzelne Artikel-Scores werden zum Gesamtrating eines Medienportals zusammengefasst:
Quellengewichtung
Jede Analyse erhält ein Vertrauensgewicht basierend auf der Quelle: Registrierte Nutzer (1.0), Automatisiert (0.8), Anonym (0.7), Seed-Daten (0.5).
Getrimmter Mittelwert
Bei 10 oder mehr Analysen werden die oberen und unteren 10 % der Scores ausgeschlossen, um Ausreißer-Resistenz zu gewährleisten. Unter 10 Analysen fließen alle Datenpunkte ein.
Invertierung
Der Composite-Score wird invertiert: Composite = 100 − Durchschnitt. Weniger erkannte Techniken = höherer Score = besseres Rating.
Vorläufig-Markierung
Ratings mit weniger als 10 Analysen werden als ‚vorläufig' gekennzeichnet, um auf die begrenzte Datenbasis hinzuweisen.
3. Bewertungsskala
Der Composite-Wert eines Portals wird einer Buchstabennote zugeordnet. Die Schwellenwerte orientieren sich an der tatsächlichen Verteilung der bewerteten Portale, sodass sich die Noten sinnvoll von A bis F verteilen. Ein durchschnittliches Portal liegt im C-Bereich.
| Grade | Composite | Avg. Techniques | Bedeutung |
|---|---|---|---|
| A+ | ≥ 82 | Ø ≤ 18 | Deutlich weniger Techniken als die meisten Portale |
| A | ≥ 75 | Ø ≤ 25 | Sehr wenige Techniken |
| A- | ≥ 68 | Ø ≤ 32 | Wenige Techniken |
| B+ | ≥ 62 | Ø ≤ 38 | Unterdurchschnittliche Technikdichte |
| B | ≥ 57 | Ø ≤ 43 | Leicht unterdurchschnittlich |
| B- | ≥ 52 | Ø ≤ 48 | Nahe am Durchschnitt |
| C+ | ≥ 47 | Ø ≤ 53 | Durchschnittliche Technikdichte |
| C | ≥ 42 | Ø ≤ 58 | Leicht überdurchschnittlich |
| C- | ≥ 37 | Ø ≤ 63 | Überdurchschnittliche Technikdichte |
| D | ≥ 27 | Ø ≤ 73 | Deutlich überdurchschnittlich |
| F | < 27 | Ø > 73 | Sehr hohe Technikdichte |
4. Trend-Berechnung
Für jedes Portal werden 7-Tage- und 30-Tage-Trends berechnet. Diese vergleichen den quellengewichteten Durchschnitt der jüngsten Analysen mit dem aktuellen Composite-Score. Ein positiver Trend bedeutet Verbesserung (weniger Techniken erkannt), ein negativer bedeutet Verschlechterung.
5. Neutralitätsprinzipien
- ✓Vollautomatisiert — keine redaktionelle Einflussnahme auf Scores oder Ratings
- ✓Keine portalspezifische Gewichtung — jede Analyse wird identisch verarbeitet
- ✓Keine Vorannahmen — die Methodik bevorzugt oder benachteiligt kein Portal, unabhängig von dessen Ausrichtung oder Reputation
- ✓Nachvollziehbar — jedes Rating lässt sich auf die zugrundeliegenden Einzelanalysen zurückverfolgen
- ✓Versioniert — Methodikänderungen werden dokumentiert und veröffentlicht
6. Wissenschaftliche Grundlagen
Der Scoring-Algorithmus basiert auf etablierten Forschungsansätzen:
- Propaganda-Analyse (Institute for Propaganda Analysis, 1937-1942) — Taxonomie der Überzeugungstechniken
- Shannon-Informationstheorie (1948) — Entropie-basierte Diversitätsmessung
- Psycholinguistik (Weber-Fechner, Zipf) — Wahrnehmungsskalierung
- Medienanalyse (Herman & Chomsky, 1988) — Propagandamodell und Framing
- Zusammengesetzte Indikatoren (OECD/JRC-Handbuch, 2008) — Normalisierung und Verteilung von Kennzahlen
- Kalibrierung von Bewertungsskalen (monotone bzw. Perzentil-Verfahren) — stabile, über Texte hinweg vergleichbare Skalen
7. Rekalibrierung
Die aktuelle Skala (v2.2) ist an der tatsächlichen Verteilung der bislang analysierten Texte kalibriert. Mit wachsender und breiter gefächerter Datenbasis (mehr Portale, Themen und Sprachen) wird die Kalibrierung neu berechnet und als neue Methodikversion mit vollständigem Änderungsprotokoll veröffentlicht. Innerhalb einer Version bleibt die Bewertung eines Textes stabil.