Die Erwartungen rund um Generative Artificial Intelligence (kurz GenAI) waren von Beginn an enorm, doch nun hat die Realität viele eingeholt. Obwohl die Potenziale dieser Technologie nach wie vor unbestritten sind, scheitern zahlreiche Projekte daran, den Proof of Concept (PoC) zur Marktreife weiterzuentwickeln. Zwischen der Vision und einem marktfähigen GenAI-Produkt liegen oft Hürden wie mangelnde Zuverlässigkeit, unzureichende Qualität, schlechte Performance oder zu hohe Kosten.
Ein Blick auf den Gartner Hype Cycle zeigt: GenAI hat den "Gipfel der überzogenen Erwartungen" überschritten und bewegt sich nun durch das "Tal der Enttäuschung", in dem viele Projekte steckenbleiben. Anhand unserer Web-Anwendung qbs.ai demonstrieren wir, wie sich typische Herausforderungen in GenAI-Projekten bewältigen lassen – und welche Erfolgsfaktoren nötig sind, um den Weg zum „Plateau der Produktivität“ zu beschleunigen.
qbs.ai ist eine Applikation, die wir in Kollaboration mit der Managementberatung kobaltblau entwickelt haben. Sie hebt den frühen strategischen Beratungsprozess auf ein völlig neues Level: Aufwendige Recherchen und die Erstellung tiefgehender strategischer Analysen können von Wochen und Monaten auf wenige Stunden reduziert werden. Mit qbs.ai lassen sich in wenigen Klicks strategische Potenziale für diverse Industrien, Unternehmensgrößen oder strategische Ausrichtungen automatisiert identifizieren und ausbauen.
Die generierten Inhalte werden übersichtlich und benutzerfreundlich in einer Webanwendung bereitgestellt, sodass die mühsame, manuelle Recherchearbeit entfällt. Strategische Erkenntnisse stehen in kürzester Zeit zur Verfügung – das spart nicht nur wertvolle Ressourcen, sondern beschleunigt die Entscheidungsfindung erheblich.
Während der Fokus von qbs.ai die Strategieberatung ist, sind die Ideen und Techniken generischer. Wann immer mühsame Recherchearbeit geleistet wird, lohnt es sich über den Einsatz von GenAI nachzudenken. Mit optimierten Prompts kann das umfassende Wissen von LLMs (Large Language Models) für die eigene Domäne abgegriffen und nutzbar gemacht werden. Bei Bedarf kann dieses Wissen auch mit unternehmenseigenen Daten kombiniert werden. Auf Basis einer solchen Datenbank lässt sich z.B. eine Web-Oberfläche entwickeln, um die Inhalte intuitiv bereitzustellen.
Mögliche Anwendungsfälle könnten z.B. sein:
Wie bereits angesprochen tauchen beim Einsatz von GenAI häufig diverse Herausforderungen auf. Typischerweise stellt sich die Frage nach Antwortqualität und -verlässlichkeit, aber auch nach Performance und Kosten. Neben GenAI-spezifischen Herausforderungen gibt es zudem klassische Fragestellungen, etwa zu Software-Architektur, UX oder CI/CD.
In Kombination mit unserer Expertise aus den Bereichen Software- und AI-Engineering haben wir folgende Lösungen für qbs.ai gefunden und umgesetzt:
Neben klassischen Unit Tests zur Qualitätssicherung von Software, erfordert der Aspekt „LLM und natürliche Sprache“ neue Wege. Antworten sind nicht-deterministisch, d.h. ein und dieselbe Anfrage ergibt typischerweise unterschiedliche Antworten. Mit klassischen Methoden kann daher nicht mehr automatisiert getestet werden. Wir verfolgen mehrere Ansätze zur Lösung dieser Problematik.
Fachliche Expert:innen bewerten die Antworten anhand von Stichproben. Dies liefert wiederum Input zur Optimierung der Prompts. Gleichzeitig lässt sich die semantische Qualität von Antworten automatisiert testen. Die Idee dabei ist, dass eine weitere KI die Qualität des generierten Inhalts bewertet. Somit lassen sich Thresholds, also Zielwerte, definieren, etwa „der generierte Inhalt muss zu 90% mit einem Musterbeispiel übereinstimmen“. Dies ermöglicht die automatisierte Inspektion der Qualität über die Zeit und somit die Option, bei Bedarf schnell Maßnahmen zu ergreifen.
|
Weitere Details zur Messbarkeit von LLM-Antworten und Vergleichbarkeit von LLMs finden Sie in unserem Whitepaper. |
Wir parallelisieren Anfragen und berechnen die Ergebnisse vor, so dass der Endanwender Antworten beinahe in Echtzeit angezeigt bekommt. Indem wir die Generierung der Wissensdatenbank von der Darstellung über eine Webapp entkoppeln, ermöglichen wir eine verbesserte User Experience. Die Kosten behalten wir über ein dediziertes Monitoring im Blick.
Die Architektur von qbs.ai basiert auf einer strukturierten Wissensdatenbank, die durch GPT-gestützte Prozesse auf AWS (Amazon Web Services, Cloudanbieter) generiert wird. Diese Datenbank wird nicht ad hoc aus einer manuellen LLM-Anfrage gespeist, sondern systematisch durch spezialisierte Skripte aufgebaut. Letztere können bei Bedarf manuell erneut ausgeführt werden. Somit wird die Aktualität der Ergebnisse auch über die Zeit hinweg ermöglicht. Eine Erweiterung, z.B. Generierung via Zeitsteuerung ist prinzipiell als einfacher Cronjob im gewählten Setup umsetzbar.
Das Frontend und Backend sind gemäß Best Practices für Software Engineering und Architektur gestaltet. Das Web Interface stellt die Inhalte zudem ansprechend und nutzerfreundlich aufbereitet dar.
qbs.ai wird wie in jedem professionellen Software-Projekt auf verschiedenen Stages betrieben. So wird die Entkopplung von Entwicklung und Produktion ermöglicht. Außerdem stellen automatiserte Build- und Deployment-Pipelines sicher, dass aktuelle Änderungen kontinuierlich integriert, getestet und live genommen werden.
Wie bereits erwähnt sollen zukünftig noch tiefere und individuellere strategische Analysen ermöglicht werden. Dabei kann das Weltwissen von LLMs mit unternehmensspezifischen Informationen kombiniert werden. Zudem können Analysen über eine definierte Zeitspanne hinweg ermöglicht werden. Dies umfasst die inhaltliche Ebene, etwa die Frage „Wie ändern sich Trends in einer Branche über die Zeit?“ oder die technische Ebene, z.B. ob Updates von LLMs oder Änderungen an Prompts positive Auswirkungen auf die Ergebnisse haben. Ein professionelles Setup wie dieses ermöglicht, dass solche Erweiterungen einfach und schnell in die Applikation integriert werden können.
qbs.ai zeigt eindrucksvoll, wie GenAI effizient Mehrwerte generieren kann, wenn die Potenziale der Technologie richtig genutzt werden. Für die Entwicklung von GenAI-Anwendungen, die es bis zur Marktreife schaffen sollen, ist neben der KI-Expertise vor allem auch Erfahrung im Bereich der Softwareentwicklung notwendig. Mit der notwendigen Professionalisierung von GenAI können für Unternehmen somit Hebel entstehen, die langfristige Vorteile schaffen.
Dr. Tehseen Rug arbeitet als AI & Data Architect bei iteratec. Er entwickelt individuelle KI-basierte Anwendungen. Diese umfassen sowohl passgenaue Machine-Learning-Lösungen, sowie Applikationen, die generative KI in den produktiven Einsatz bringen.
Mehr zu den Möglichkeiten von Künstlicher Intelligenz für Ihr Unternehmen finden Sie auf unserer Webseite. Sprechen Sie uns gerne an.