- Advertisement -spot_img
HomeAgilOpen Source Qualitätssicherung, Test und Training für AI 

Open Source Qualitätssicherung, Test und Training für AI 

- Advertisement -spot_img

Open Source Qualitätssicherung, Test und Training für AI

Christoph Börner und Florian Treml gründeten kürzlich das Start-Up „Botium“. Mit ihrer Entwicklung soll die Chatbot-basierte Kommunikation von Unternehmen mit ihren Kunden verbessert und weiterentwickelt werden. Mit Botium durchlaufen die Chatbots automatisiert eine Vielzahl von Tests. Für die Entwicklung von Botium setzten die beiden Unternehmer auf Open-Source-Software. Das SQ-Magazin hat mit Christoph Börner über das Projekt und die Vorteile von Open Source gesprochen.

Herr Börner, was verbindet Sie mit Florian Treml, dass Sie ein Start-Up mit ihm wagen?

Wir beide kennen uns schon sehr lange, machen Musik in derselben Rockband. Beruflich haben wir uns in unterschiedlichen Ecken der Informationstechnologie ausgetobt. Florian hat im Development sein zu Hause gefunden und ich habe viel Test Engineering und Automation gemacht. 2018 begann sich dann alles in unserer Branche um die Themen Artificial Intelligence (AI) und Machine Learning (ML) zu drehen. Conversational AI war plötzlich in aller Munde und wird als der nächste große Wurf nach dem Smartphone gehandelt. Nicht verwunderlich, dass Tools und Provider zur Entwicklung von Chatbots und virtuellen Assistenten aus dem Boden sprießen. Wie so oft, fehlten aber von Beginn an sehr wichtige Dinge: Qualitätssicherung, Test und Training. Der Rest ist dann schon fast Geschichte. Aus Gitarrist und Drummer wurden Entrepreneurs, das Konzept „Open Source Testautomation for Conversational AI” gewann den ersten Award in Wien und heute zählen wir fast 50.000 Botium Core und 5.000 User in unserer Botium Box Community Edition.

Wie groß ist der Anteil an Unternehmen, die bereits auf Chatbots setzen? Wie schätzen Sie den zukünftigen Bedarf ein?

„Signifikant hoch” möchte ich auf beide Fragen antworten. Ein paar Zahlen um das zu untermauern: Die drei größten Social Messenger – namentlich Whatsapp, Facebook Messenger und Wechat – haben mittlerweile eine Userbase von über 3 Milliarden Menschen. Ein Chatbot, der auf diesen Plattformen läuft, kann also potenziell fast die halbe Menschheit erreichen. An dieser Tatsache kommt keine Strategie-, Innovations- oder Marketing-Abteilung vorbei. Zudem sagen IT-Trendanalysten voraus, dass Conversational AI in Zukunft den Großteil aller Webseiten und Apps ersetzen wird und Bots bald auf 85 Prozent aller Customer Service Anfragen antworten.

Open Source Qualitätssicherung, Test und Training für AI
Christopher Börner (2.v.r.) und Florian Treml (2.v.l.) mit dem Botium-Team.

„Ein OS-Projekt lebt in erster Linie von seiner Community. Ein tolles Open-Source-Projekt hat aber noch lange keine tolle Community. Das Stichwort ist hier „Community-Building”. Und das sind ganz einfach Aufwände, die man nicht unterschätzen darf.”

Was macht einen guten Chatbot aus, sprich, was sind Qualitätskriterien?

Vielleicht fange ich hier mit den schlechten an. Ältere oder simpler gestrickte Bot-Generationen basieren auf Entscheidungsbäumen und nicht auf Künstlicher Intelligenz. Deren Qualität ist oft sehr mangelhaft. Andererseits gibt es auch bei den AI-basierten Bots nach wie vor sehr viele, die völlig ungetestet oder nicht ausreichend trainiert sind. Das Ergebnis sind entnervte User und Shitstorms im Netz. Sicher ist auch die Anzahl der Intents, die ein Bot auflösen kann, ein Qualitätskriterium. Und noch vielmehr der Umgang mit denen, die er nicht verwerten kann. Nun muss beispielsweise ein Telekom Chatbot nicht zwangsläufig auch Auskunft über das Wetter geben können. Doch kein User will ein „I don’t understand”, eine Fehlermeldung oder im Worst Case einen Absturz – womöglich noch mit der Offenlegung von privaten Daten – sehen. Gute Bots implementieren dazu Hand-over-Szenarien an einen Support-Mitarbeiter, wenn sie nicht mehr weiterwissen.

Wie kann man sich einen automatischen Test eines Chatbots vorstellen? Lässt sich das intuitive Verhalten von Menschen, die mit Chatbots kommunizieren, überhaupt darstellen?

Sehr gute Frage und ein zentrales Feature von Botium. Wie man Konversationen in Testfälle packt, hat auch uns sehr lange beschäftigt. In Zusammenarbeit mit Linguisten entstand hier in monatelanger Forschungs- und Entwicklungsarbeit ein ganz neuer Datentyp, sogenannte Convo-Files. Mit einer eigens entwickelten Syntax lassen sich darin komplexe Konversationen beschreiben und später automatisiert ausführen.

Sie haben sich dafür entschieden, mit Botium ein Open-Source-Framework zu entwickeln. Was bedeutet das?

Nach Selenium für Webseiten und Appium für Apps, war Botium für uns nur der nächste logische Schritt für Bots. Ziel war es dabei, von vornherein ein Framework zu bauen, das von einer großen Community verwendet und auch weiterentwickelt wird. Das Handling ist ähnlich wie bei Selenium oder Appium und führt zu einer sehr flachen Lernkurve. Für uns als junges Unternehmen bedeutet Open Source erst mal ein großes Investment. Einerseits stehen hier die Forschungs- und Entwicklungskosten, andererseits die Aufwände für Community Building und Support. Beim Blick auf die mittlerweile fast 50.000 User war und ist es das aber allemal wert.

Und das Risiko konnten Sie anfangs schon einschätzen? 

In erster Linie glauben wir an den Open Source (OS) Gedanken. In unserer beruflichen Laufbahn haben Florian und ich unzählige Male von OS-Software profitiert. Ein Stück weit wollten wir also mal etwas an die Community zurückgeben. Daneben bringt eine lebendige Community natürlich auch sehr viele Vorteile mit sich. Einer davon sind fast wöchentlich Pull Requests von teilweise internationalen Global Playern, die damit das Framework weiterentwickeln.

Wie kommuniziert man mit anderen Entwicklern, die ebenfalls an der Open-Source-Software arbeiten?

Die Kommunikation läuft bei uns nicht anders als in anderen OS-Projekten. In den letzten Jahren haben sich da Stackoverflow und Git als die wichtigsten Plattformen hervorgetan. Heavy Contributor bekommen zudem eine Einladung in einen VIP chat channel.

Was macht ein Open-Source-Projekt aus? Was sollte man beachten?

Ein OS-Projekt lebt in erster Linie von seiner Community. Ein tolles Open-Source-Projekt hat aber noch lange keine tolle Community. Das Stichwort ist hier „Community-Building”. Und das sind ganz einfach Aufwände, die man nicht unterschätzen darf. Bei unserer Userbase arbeitet ein Vollzeitmitarbeiter ausschließlich an Community-Themen. Dazu kommen Konferenzen, Keynotes und Meetups, Blog-Artikel und Social-Media-Arbeit. 

Vielen Dank, Herr Börner.

- Advertisement -Certified DevOps Portfolio
Share
Must Read
Related News
- Advertisement -spot_img