Open Access

Kevin Bönisch

• Large language models have become widely available to the general public, especially due to ChatGPT's release. Consequently, the AI community has invested much effort into recreating language models of the same caliber as ChatGPT, since the latter is still a technical blackbox. This thesis aims to contribute to that cause by proposing R.O.B.E.R.T., a Robotic Operating Buddy for Efficiency, Research and Teaching. In doing so, it presents a first implementation of a lightweight environment which produces tailor-made, instruction-following language models with a heavy focus on conversational capabilities that instruct themselves into a given domain-context. Within this environment, the generation of datasets, the fine-tuning process and finally the inference of a unique R.O.B.E.R.T. instance are all carried out as part of an automated pipeline.
• Große Sprachmodelle sind inzwischen für die breite Öffentlichkeit zugänglich, insbesondere durch die Veröffentlichung von ChatGPT. Infolgedessen hat die KI-Gemeinschaft viel Mühe in die Erstellung von Sprachmodellen gleichen Kalibers wie ChatGPT investiert, da Letzteres immer noch eine technische Blackbox ist. Die vorliegende Thesis möchte einen Beitrag dazu leisten, indem sie R.O.B.E.R.T., einen Robotic OpeRating Buddy foR Efficiency, ReseaRch and Teaching vorstellt. Dabei präsentiert sie die erste Implementierung einer leichtgewichtigen Umgebung, die maßgeschneiderte, anweisungsgetreue Sprachmodelle mit einem starken Fokus auf Konversationsfähigkeit erzeugt, die sich selbst in einen gegebenen Domänenkontext einarbeiten. Innerhalb dieser Umgebung werden die Generierung von Datensätzen, der Feinabstimmungsprozess und schließlich die Inferenz einer einzigartigen R.O.B.E.R.T.-Instanz als Teil einer automatisierten Pipeline durchgeführt.