Methodik

Der entwickelte Algorithmus umfasst die folgenden Schritte:

• Identifizierung relevanter Webseiten: Zunächst werden mithilfe der Microsoft Bing Websearch API Webseiten mit biografischen Informationen zu den Kandidaten identifiziert.
• Textextraktion von Webseiten: Anschließend erfolgt die automatische Extraktion des Textes von den identifizierten Webseiten mithilfe einer automatisierten Version von Selenium Chrome Driver.
• Heuristischer Relevanzcheck: Ein automatisierter Relevanzcheck überprüft, ob die Webseite relevante Informationen über den jeweiligen Kandidaten enthält. Dieser Check basiert auf den Kriterien Name, Partei und Region.
• Datenextraktion: Von allen Webseiten, die den Relevanzcheck bestehen, werden biografische Daten wie berufliche Tätigkeiten, Mitgliedschaften, Ausbildungsdetails sowie persönliche Daten (Geburtsjahr, Geburtsort, Familienstand, Kinder etc.) extrahiert. Große Sprachmodelle sind in der Sprachgenerierung von freiem Text oft unzuverlässig, gleichzeitig sind sie im korrekten Extrahieren von Daten mit geeigneten Prompt-Instruktionen viel verlässlicher. Wegen der hohen Anzahl der Anfragen für alle Kandidaten verwenden wir hauptsächlich Llama 3.3 70BN-instruct und die Ergebnisse punktuell mit GPT4-o zur Qualitätssicherung geprüft. Die Sprachmodelle werden über die Huggingface Hub, die Lambda Cloud und die OpenAI API genutzt.

Zur Verbesserung der Datenqualität werden die gleichen Datenpunkte von bis zu sechs verschiedenen Webseiten aggregiert. Die KI wird auch verwendet, um Webseiten, die auf Englisch vorliegen, ins Deutsche zu übersetzen und freie Datenpunkte in standardisierte Kategorien für Beruf, Ausbildung und Mitgliedschaften zu überführen. Für chronologisch abbildbare Informationen wird für jeden Kandidierenden eine Jahresmatrix erstellt, die alle aktiven Jahre (in Ausbildung, Beruf oder Politik) abbildet. Hierbei werden Ausbildung, Beruf und politische Tätigkeiten gleich gewichtet, gleichzeitig ausgeführte Berufstätigkeiten werden innerhalb der Kategorie Beruf gleichgewichtet. Daten ohne vollständige Zeitangaben (Anfangs- und Enddatum) auf mindestens einer Webseite werden von der weiteren Auswertung ausgeschlossen. Die aggregierten Jahresdaten werden mittels Pivot-Tabellen ausgewertet, um durchschnittliche Erfahrungsjahre in Politik und Beruf sowie in spezifischen Berufskategorien zu berechnen. Diese Analysen umfassen auch die prozentuale Verteilung nach Berufskategorien und Ausbildungshintergründen.

Wir führen automatisierte Qualitätskontrollen durch. Der Algorithmus führt eine automatisierte Prüfung der Datenqualität durch, bei dem jeder Datenpunkt noch einmal mit dem gesamten extrahierten Inhalt der extrahierten Webseite abgeglichen wird. Diese Prüfung ergänzen wir punktuell durch manuelle Prüfungen. Weiterhin gehören zu den automatisierten Prüfungen die Erstellung von Kandidatenlisten ohne zuverlässige Daten, die statistische Häufigkeit der verwendeten Webseiten und die Klassifizierung von Datenlücken. Die verwendeten Webseiten sind dabei oft Wikipedia, abgeordnetenwatch.de, Parteiwebseiten, Webseiten des Bundestags bzw. der Fraktionen, persönliche Webseiten der Kandidierenden sowie Webseiten verschiedener Medienanbieter. Im Durchschnitt werden für jeden Datenpunkt 2,0 Internetquellen gefunden, wobei die Quellenvielfalt zu Ausbildungsstationen am besten und zu Mitgliedschaften am schlechtesten ist.

Ein Beispiel für die verwendeten Prompts ist auf Anfrage verfügbar.