Hintergrund
Künstliche Intelligenz
Der Hype um Künstliche Intelligenz (KI) ist natürlich auch an uns nicht vorbeigegangen. Zunächst stellte sich die zentrale Frage: Ist dieser Hype gerechtfertigt oder übertrieben? Um das herauszufinden, haben wir begonnen, verschiedene Proof-of-Concepts (PoC) zu entwickeln. Unser Ziel war es, die Stärken der neuen KI-Modelle zu erkennen und den Aufwand abzuschätzen, der notwendig ist, um bestimmte Use Cases erfolgreich umzusetzen.
Proof of Concepts in KI x neosfer
Proof-of-Concept 1: Commerzbank Service Chatbot powered by AI
Bei unserem ersten Proof-of-Concept (PoC) zum Thema KI haben wir untersucht, wie disruptiv diese neue Technologie eigentlich ist. Dazu haben wir einen Vergleich angestellt: Zum Zeitpunkt dieses PoC ist der Chatbot Bene des Commerz Direktservice gerade neu erschienen. Bene wurde auf “klassische Art und Weise” als Chatbot entwickelt, mit intensivem manuellem Training und Einpflegen vorgefertigter Fragen und Antworten. Diese Entwicklung hat Monate in Anspruch genommen und letztendlich zu einem guten Ergebnis geführt. Mit dem neu erschienenen Modell von OpenAI (ChatGPT 3.5) haben wir dann versucht, Bene “nachzubauen” und die Qualität so zu beurteilen. Das überraschende Ergebnis: ein manuelles Training des Modells war gar nicht mehr notwendig. Mittels einer eigens programmierten Anwendung konnten wir einfach alle öffentlich verfügbaren Seiten des Commerz Direktservice in das Modell einpflegen und sofort anfangen, Fragen zu stellen. Das Ergebnis hat uns überzeugt: LLMs sind zweifellos der Weg in die Zukunft für Service-Bots.
Proof-of-Concept 2: Text to SQL (Co-Pilot)
In Gesprächen mit der Commerzbank haben wir gemerkt, dass nach Möglichkeiten gesucht wird, um Technologie- und Entwicklungsprozesse mit Code-Generierungs- und Code-Optimierungs-Tools zu verbessern. Deshalb haben wir unter Verwendung von LLM einen PoC gebaut, der die menschliche Sprache in SQL Statements übersetzen kann. Somit können auch Personen ohne Programmierkenntnisse direkt mit einer Datenbank interagieren.
In weniger als zwei Wochen wurde ein Co-Pilot-Modul zur Generierung von SQL aus natürlicher Sprache implementiert. Dieses Tool könnte von jedem Mitarbeitenden genutzt werden und damit die Effizienz der IT in der gesamten Bank steigern.
Proof-of-Concept 3: Confluence Search
Bei vielen IT-Projekten wächst die zugehörige Dokumentation mit der Zeit stetig an und wird immer komplexer. Dementsprechend werden auch die damit verbundenen Datenbanken und Workspaces immer unübersichtlicher und sind schwer zu überblicken – sowohl für bestehende Mitarbeiter als auch (und insbesondere) für New Joiner. Diesen Daten-Dschungel zu verstehen, kann viel Zeit in Anspruch nehmen.
Dem wollten wir Abhilfe schaffen, indem wir ein LLM-Tool gebaut haben, das bestehende Confluence-Seiten durchsucht und allen Organisationsmitgliedern, insbesondere Entwickler:innen, zielgerichtet ihre jeweiligen Fragen beantwortet. Der PoC hat seine Funktionalität unter Beweis gestellt, ein weiterer Ausbau wird nun geprüft.
Proof-of-Concept 4: Non Disclosure Agreements (NDA)
Mit diesem Use Case haben wir erprobt, inwiefern es möglich ist, mit Hilfe von GenAI (LLM) NDA (Non-disclosure agreements) Dokumente auf die Vorgaben der Commerzbank zu prüfen und mögliche Anpassungen vorzuschlagen. Dafür haben wir eine Anwendung gebaut, die anhand von abgelaufenen und anonymisierten NDAs trainiert wurde. Ziel des PoCs sollte es sein, Anwender:innen möglich zu machen, NDAs als Input zur Verfügung zu stellen, woraufhin die Anwendung diesen Input selbstständig verarbeitet und Korrekturen ausgibt. Der finale PoC konnte seine Funktionalität unter Beweis stellen, weswegen das Projekt für uns ein Erfolg war. Jedoch ist anzumerken, dass das Feintuning des Modells noch weitere Ressourcen in Form von Zeit und Rechenkapazität erfordert hätte, die den Rahmen eines PoC überschritten hätten.
Proof-of-Concept 5: Translation Tool
In diesem PoC haben wir gemeinsam mit der Commerzbank untersucht, ob LLMs im Vergleich zu traditionellen Übersetzungstools überlegen sind. Dazu haben wir verschiedene LLMs (sowohl Open Source als auch Closed Source) mit denselben Ausgangsdokumenten gefüttert und sie um eine Übersetzung gebeten. Die resultierenden Übersetzungen haben wir anschließend mit einer professionellen Referenzübersetzung verglichen und mithilfe des METEOR-Frameworks (Automatic Machine Translation Evaluation System) ausgewertet. Erste Tests zeigen, dass aktuelle LLM Modelle sowohl in Bezug auf Qualität als auch Kosten den traditionellen Übersetzungssystemen tatsächlich überlegen sein könnten.
Proof-of-Concept 6: LLM/KI - Sektor Risikoanalyse
In diesem PoC haben wir uns damit beschäftigt, wie gut die Analysefähigkeiten von LLMs sind. Aktuell bindet die Analyse von Risiken in bestimmten Sektoren anhand von Reports viele Ressourcen. Wenn eine AI das Ganze automatisiert und zuverlässig alleine erledigen könnte, würden diese Ressourcen für andere Themen frei werden. Um das Potential einer Automatisierung zu evaluieren, haben wir eine Software geschrieben, die sektorale Reports als Input verwendet, sie nach Risiken evaluiert und diese Risiken dann ausgibt. Die ersten Zwischenergebnisse sehen vielversprechend aus – eine finale Bewertung der Ergebnisse steht noch aus.
Mehr KI-Content von neosfer findest du in unserem Blog:
Auf der Suche nach dem richtigen Projektpartner?
Kontakt
Du bist der kreative Kopf hinter der nächsten disruptiven Geschäftsidee? Dann schreib uns eine Nachricht, damit deine Idee zur neuen digitalen Realität wird.
