Winter Term 2023/24

We present different topics of our research every Wednesday  at 12:00 noon via zoom. For news about the EAD-Lunch talks and seminars please feel free to subscribe to EAD-Public@googlegroups.com. (Register here: https://groups.google.com/forum/?hl=de&fromgroups#!forum/ead-public)

 

13.09.2023 Falko Gawantka und Franz Just: Evaluation of XAI methods in a FinTech context.

contact:  
 

 

As humans, we automate more and more critical areas of our lives while using machine learning algorithms to make autonomous decisions. For example, these algorithms may approve or reject job applications/ loans. To ensure the fairness and reliability of the decision-making process, a validation is required. The solution for explaining the decision process of ML models is Explainable Artificial Intelligence (XAI). In this paper, we evaluate four different XAI approaches – LIME, SHAP, CIU, and Integrated Gradients (IG) – based on the similarity of their explanations. We compare their feature importance values (FIV) and rank the approaches from the most trustworthy to the least trustworthy. This ranking can serve as a specific fidelity measure of the explanations provided by the XAI methods.

 

01.11.2023 Toni Rädler: Einrichtung und Evaluierung eines SIEM für die Erfassung und Auswertung von Sicherheitsereignissen im IT/OT-Umfeld.

contact:

 

In der vorliegenden Arbeit wird ausführlich das Thema Security Information and Event Management (SIEM) behandelt. SIEM-Systeme dienen der zentralen Erfassung und Auswertung von Sicherheitsereignissen über verschiedene Log- und Event-Daten in der IT-Infrastruktur. Unternehmen sind aufgrund der vorherrschenden Bedrohungslage, Industriestandards und rechtlichen Anforderungen vermehrt dazu verpflichtet, derartige Systeme in ihrer eigenen Infrastruktur zu implementieren. Aufgrund der Komplexität und Diversität der Systeme stellt dies eine Herausforderung dar. Im Rahmen dieser Arbeit soll untersucht werden, welche positiven und negativen Konsequenzen beim Einsatz eines SIEM zu erwarten sind. Zu diesem Zweck wird folgende Forschungsfrage gestellt: Mit welchem Aufwand und Nutzen ist der Einsatz eines Open-Source SIEM verbunden? Für die Beantwortung der Forschungsfrage wurden der allgemeine Funktionsablauf sowie die potenziellen Vor- und Nachteile von SIEM-Systemen in IT und OT-Umgebungen untersucht. Hierzu wurden Informationen aus verschiedenen Quellen durch eine umfassende literarische Recherche zusammengetragen. Da die Systeme jedoch äußerst unterschiedlich sind, existiert kein SIEM, das für alle Organisationen gleichermaßen als optimale Lösung gilt. Im Verlauf der Arbeit werden dementsprechend Kriterien für die Auswahl erarbeitet, die als erste Orientierungshilfe für eine fundierte Entscheidungsfindung dienen sollen. Wie sich herausstellt, erfordert die zuverlässige Beantwortung einiger dieser Kriterien eine aufwändige Untersuchung des Systems. Um dies zu verdeutlichen, wird Anhand eines konkreten Fallbeispiels der Einrichtungsaufwand eines Open-Source SIEMs und der daraus resultierende Mehrwert gezielt evaluiert. Das Endergebnis verdeutlicht, dass der Aufwand und Nutzen eines SIEM stets von der geplanten Einsatzumgebung sowie den spezifischen Anforderungen des Unternehmens abhängig sind. Eine umfassende Untersuchung des SIEM-Systems, zum Beispiel in Form eines Testlaufs, ist unerlässlich, da andernfalls nur allgemeingültige Aussagen getroffen werden können, die möglicherweise nicht auf die individuelle Infrastruktur des Unternehmens zutreffen.