Germany – Research and development services and related consultancy services – Holistische Evaluation Generativer Foundation Models im Sicherheitskontext (HEGEMON) Holistic Evaluation of Generative Foundation Models in a Security Context (HEGEMON)

Der Begriff Foundation Model (seltener: Basismodell) umschreibt komplexe neuronale Netzwerke, die auf großen Datenmengen trainiert wurden und sich durch eine hohe Allgemeinheit und Vielseitigkeit ihrer Einsatzmöglichkeiten auszeichnen. Die Modelle haben zu diesem Zweck sehr viele (mehrere hundert Milliarden) Parameter, die im Rahmen des Trainings angelernt werden. In den Parametern ist das aus den Daten erworbene, implizite Wissen repräsentiert und stellt somit die Grundlage (Foundation) für weiterführende Anwendungsmöglichkeiten dar. Generative Foundation Models unterscheiden sich von bisherigen KI-Modellen darin, dass sie auf der Basis freier Eingaben (Prompts) komplexe Text-, Bild- oder Audio-Inhalte (oder eine Kombination davon) erzeugen und damit sehr vielseitig für komplexe Aufgaben eingesetzt werden können. Der initiale Trainingsaufwand solcher Modelle ist extrem hoch und somit zeit- und ressourcenintensiv. Somit wird auch die Evaluation wesentlich komplexer. Während bei klassischen Regressions-, Klassifikations- und Strukturerkennungsaufgaben Messungen mittels quantitativer Ansätze möglich sind, werden bei komplexen generativen Aufgaben qualitative Ansätze unter Abdeckung multipler Eigenschaftsdimensionen notwendig. Probleme wie beispielsweise das Erfinden von Fakten und Quellen bei großen Sprachmodellen („Halluzinieren“), die Möglichkeit der manipulativen Herbeiführung nicht-intendierten Modellverhaltens (durch direkte oder indirekte Prompt Injection) , die Perpetuierung von Stereotypen aus den Trainingsdaten im Modelloutput (Bias) sowie die erforderliche hohe Rechenleistung auch für Inferenzen machen eine ganzheitliche Evaluierung umso notwendiger, wenn ein Einsatz in Teildomänen der inneren und äußeren Sicherheit angedacht ist. Bisherige Ansätze sind für eine Anwendung im deutschsprachigen Kontext und unter Berücksichtigung Sicherheitsdomänen-spezifischer Aufgabenstellungen nicht in ausreichendem Maß geeignet. Ziel des Verfahrens ist vor diesem...