Fraunhofer FIT startet Generative AI Lab

Große Sprachmodelle / Large Language Models (LLMs) verstehen und nutzen

Das Generative AI Lab befasst sich mit der Erforschung, dem Design und der Weiterentwicklung intelligenter Systeme, die auf generativer KI basieren, mit dem Ziel, ihr volles Potenzial für Unternehmen und die Gesellschaft zu nutzen. Ein Schwerpunkt liegt dabei auf dem Verständnis der Weiterentwicklung und der Anwendung großer Sprachmodelle (LLMs). Insgesamt investiert das Institut rund eine Million Euro in interne Forschung, um die Entwicklung einsatzreifer Lösungen für Unternehmen zu forcieren. 


Im Generative AI Lab befassen wir uns mit Systemen der künstlichen Intelligenz, die in der Lage sind, Inhalte zu generieren, etwa in Form von Text, Bildern und Musik. Wir legen besonderen Wert auf das Verständnis und die Weiterentwicklung großer Sprachmodelle (LLMs) – einer spezifischen Untergruppe der generativen KI. Diese Modelle erhalten ihre generativen Fähigkeiten durch umfangreiches Training auf großen Textdatenbeständen. Dadurch sind sie in der Lage, sich in einem breiten Spektrum von Aufgaben der Verarbeitung natürlicher Sprache auszuzeichnen, beispielsweise der Textgenerierung, der Übersetzung und der textbasierten Beantwortung von Fragen, indem sie die komplexe Struktur, den Kontext und die Kohärenz von Sprache erkennen und verarbeiten.

Große Sprachmodelle / Large Language Models (LLMs) verstehen und nutzen

Das Institut verfügt über ein umfangreiches Fachwissen für das Design von Prototypen sowie über ein tiefes Verständnis der organisatorischen Herausforderungen, um diese innovativen Systeme nahtlos in bestehende Prozesse und Arbeitsabläufe zu integrieren. So sind wir in der Lage, Open Source-Modelle zu konfigurieren und bereitzustellen.

Unser Forschungslabor verfolgt einen sozio-technischen Ansatz, um den Bereich der generativen KI und die damit verbundenen transformatorischen Veränderungen für Unternehmen, Gesellschaften und Individuen zu erforschen. Wir betrachten dabei nicht nur die technischen Aspekte der Entwicklung generativer KI-Systeme, sondern auch den breiteren sozio-ökonomischen Kontext, in dem diese Systeme agieren.

Rund 1 Million Euro Investment in interne Forschung

Im August 2023 hat das Fraunhofer FIT eine interne Task Force mit einem Budget von 1 Million Euro ausgestattet, um in einem kompetitiven Verfahren interne Projekte zur Entwicklung anwendungsfertiger Lösungen für Unternehmen vorzubereiten. Das Anwendungsspektrum der Projekte ist breit gefächert und umfasst zahlreiche vielversprechende Einsatzbereiche, etwa automatische operative Prozessverbesserungen, E-Health-Anwendungen unter Verwendung großer Sprachmodelle oder personalisierte Lern- oder Beratungschatbots, beispielsweise im Bereich Energie zur Entscheidungsfindung über die Investition in Technologien wie Photovoltaikanlagen, Wärmepumpen oder Speichersysteme.

Anwendungsbeispiele

BAföG-Chatbot als Beratungsinstrument zum Sozialleistungsbezug

Viele potenziell Anspruchsberechtigte von Sozialleistungen nehmen die ihnen zustehenden Leistungen nicht in Anspruch. Neben Scham kommen als weitere Erklärungen für diese Nicht-Inanspruchnahme die Komplexität des Antragsverfahrens oder aber auch Informationslücken in Frage. Existierende Beratungstools sind zumeist nicht niederschwellig genug, unflexibel und es fehlt ihnen an Interaktionsmöglichkeiten. Ein vom Fraunhofer FIT entwickelter Chatbot soll dies für das Studierenden-BAföG ändern. 

Im Internet finden sich zahlreiche Tools, mit deren Hilfe sich Ansprüche auf staatliche Unterstützungsleistungen zumindest grob berechnen lassen. Allerdings sind diese vielfach recht unspezifisch und stoßen in komplexen Situationen schnell an ihre Grenzen. Für eine spezifische Beratung sind sie daher weniger geeignet. Ein Chatbot kann ein niederschwelliges Angebot darstellen, das zugleich auch für komplexere Lebenssituationen profunde Antworten geben kann. Aufbauend auf unserer mehr als 40jährigen Expertise im Bereich des BAföG hat das Fraunhofer FIT einen Chatbot entwickelt, der als Blaupause auch für die Beratung bei anderen Sozialleistungen dienen soll.

Statt einer händischen Eingabe aller für die Berechnung möglicher Ansprüche benötigter Daten in eine vorgegebene Eingabemaske, können diese Informationen durch den Chatbot in einem natürlichen Dialog mit dem Studierenden erfasst werden. Dieser Dialog lässt bei Unklarheiten, etwa zur genauen Definition von Einkommensbegriffen, auch Rückfragen zu und kann konkrete Beispiele geben, welche Daten tatsächlich benötigt werden.

Die Vermittlung falscher Informationen wird durch die Anwendung neuester Erkenntnisse aus eigener sowie externer Forschung zu Large Language Modellen so weit wie möglich ausgeschlossen. Weiterhin werden öffentliche Informationsquellen wie Gesetzestexte, Informationsbroschüren, strukturierte Daten und Beispielfälle verwendet, um die Qualität zu verbessern. Durch die Kombination des Large Language Modells mit einem von uns selbst entwickelten umfangreichen und detaillierten Rechentool ist es dem Chatbot möglich, die potenzielle BAföG-Berechtigung eines Studierenden mit hoher Genauigkeit zu ermitteln.

Über das BAföG hinaus existiert noch eine Vielzahl von staatlichen Transferleistungen, die mit teils sehr komplexen Antragsverfahren verbunden sind, und bei denen theoretisch ein hoher Beratungsbedarf in Bezug auf die Antragstellung besteht. Zu nennen sind hier beispielsweise das Wohngeld und das Elterngeld. Perspektivisch möchte Fraunhofer FIT seine dort durch langjährige Projektarbeiten erworbene Domänenkompetenz dazu nutzen, die bei der Entwicklung des BAföG-Chatbots gewonnenen technologischen Erkenntnisse auf diese Bereiche zu übertragen, um das Beratungsangebot auch dort qualitativ zu verbessern.

Ihr Nutzen

  • Inhaltlich geprüftes Beratungsangebot zur Inanspruchnahme von staatlichen Leistungen
  • Niederschwelliges, flexibles Angebot, das Rechenfunktionen beinhaltet 

Effiziente interne Dokumentensuche

In Zusammenarbeit mit der Bausparkasse Schwäbisch Hall wurde ein LLM-basierten Prototyp zur Vereinfachung der internen Dokumentensuche entwickelt. In einem zweiwöchigen Design Sprint vertieften wir das Problemverständnis, sammelten verschiedene Lösungsideen und entwickelten in einem iterativen Vorgehen mit echtem Nutzerfeedback einen Prototyp. Der Erfolg des Projekts lag neben der Entwicklung eines funktionierenden Prototyps auch in der Schaffung einer Basis für zukünftige LLM-basierte Anwendungsfälle.


In enger Zusammenarbeit mit der Bausparkasse Schwäbisch Hall haben wir einen LLM-basierten Prototypen zur Verbesserung der internen Dokumentensuche entwickelt. LLMs, wie ChatGPT, sind darauf trainiert, natürliche Sprache zu verstehen und zu generieren und werden häufig für Aufgaben wie Textgenerierung oder Textzusammenfassungen eingesetzt. Die Entwicklung des LLM-basierten Prototyps erfolgte im Rahmen eines intensiven zweiwöchigen Design Sprints durch ein heterogenes Team aus verschiedenen Fachbereichen. Basierend auf der Erarbeitung eines gemeinsamen Problem- und Zielverständnisses wurden anschließend verschiedene Anwendungsszenarien großer Sprachmodelle für die Bausparkasse Schwäbisch Hall analysiert und vielfältige Lösungsansätze gesammelt. Konkret lag der Fokus auf der Entwicklung eines Dokumentenbots, der über eine Texteingabe Unternehmenswissen einfach und intuitiv zugänglich macht. Während des gesamten Design Sprints wurde besonderer Wert auf einen nutzerzentrierten Ansatz gelegt. Nutzerfeedback wurde kontinuierlich gesammelt und zur iterativen Weiterentwicklung des Prototyps genutzt. Dadurch konnte sichergestellt werden, dass der Prototyp den Bedürfnissen und Erwartungen der Nutzer bestmöglich entspricht und ihnen einen tatsächlichen Mehrwert in ihrer täglichen Arbeit bietet.

Das Projekt war nicht nur erfolgreich in Bezug auf die Entwicklung eines funktionalen Prototyps, sondern legte auch den Grundstein für zukünftige Anwendungsfälle von LLM-Technologie innerhalb des Unternehmens. Der erste Prototyp wurde unternehmensweit präsentiert, um Verständnis und Akzeptanz für die neue Technologie zu fördern und weitere potenzielle Einsatzmöglichkeiten zu identifizieren.

Auf Basis des Erfolgs des initialen Prototyps und der identifizierten Anwendungsfälle wurde ein spezialisiertes Projektteam gebildet. Dieses Team ist nun dafür verantwortlich, die identifizierten Anwendungsfälle weiter umzusetzen und zu operationalisieren. Auf diese Weise wird gewährleistet, dass die Möglichkeiten der LLM-Technologie optimal genutzt und wertschöpfend eingesetzt werden.

Ihr Nutzen

  • Das Vorgehen spart Zeit, Ressourcen und fördert Nutzerzentrierung
  • Der Entwicklungsprozess wird beschleunigt und auf wenige Tage komprimiert
  • Der Prototyp schafft im Unternehmen Akzeptanz und eine Basis für weitere LLM-basierte Anwendungsfälle

Workshop Large Language Models für Führungskräfte

Große Sprachmodelle (Large Language Models – LLMs) erlangen zunehmend an Bedeutung in der Geschäftswelt. Viele Unternehmen erkunden Möglichkeiten, diese in internen Assistenzsystemen, der Kundenkommunikation oder in der Prozessautomatisierung einzusetzen. Die Herausforderung für Führungskräfte besteht oft darin, die vergleichsweise neue Technologie umfassend zu verstehen und effektiv zu nutzen.


Ein Team des Fraunhofer FIT hat ein Workshop-Konzept entwickelt, das auf die speziellen Bedürfnisse von Führungskräften zugeschnitten ist. Unsere LLM-Workshops vermitteln ein interdisziplinäres Verständnis sowie praktische Fähigkeiten, die notwendig sind, um die Potenziale von LLMs vollständig ausschöpfen zu können. Die Schulungen umfassen eine breite Palette von Themen, darunter technische Grundlagen, betriebswirtschaftliche und strategische Überlegungen, sowie soziale, ethische und rechtliche Aspekte von LLMs. Diese umfassende Betrachtungsweise soll den Teilnehmenden helfen, ein tiefes Verständnis für die Vorbedingungen, Möglichkeiten, Grenzen und die weitreichenden Auswirkungen dieser Technologien zu entwickeln.

Die Workshops bieten eine Mischung aus theoretischer Wissensvermittlung und praktischer Anwendung. Dies ermöglicht den Teilnehmenden, das Erlernte direkt auf den Kontext ihres Unternehmens anzuwenden. Durch die Kombination von akademischen Erkenntnissen und praktischen Erfahrungen werden Führungskräfte befähigt, relevante Einsatzbereiche für LLMs zu identifizieren, aus verschiedenen Perspektiven zu bewerten und sie effektiv in ihrem betrieblichen Umfeld zu implementieren.

Mit einer ständigen Aktualisierung des Curriculums reagiert Fraunhofer FIT auf die schnell fortschreitende Entwicklung im Bereich der generativen KI. Dies stellt sicher, dass die Inhalte stets auf dem neuesten Stand der Technik sind und die Teilnehmenden auf die Herausforderungen und Chancen der Zukunft vorbereitet sind. Dies fördert Innovation und Wettbewerbsfähigkeit in der Wirtschaft nachhaltig. Durch die Schulung von Führungskräften in der sachkundigen Anwendung von LLMs trägt das Programm dazu bei, die digitale Transformation in Unternehmen verantwortungsvoll zu gestalten und zu leiten.

Ihr Nutzen

  • Interdisziplinäres Verständnis sowie praktische Fähigkeiten, um die Potenziale von LLMs vollständig ausschöpfen zu können
  • Identifikation relevanter Einsatzbereiche von LLMs in und für Unternehmen
  • Innovation und Wettbewerbsfähigkeit des eigenen Unternehmens sichern