Blog

In diesem zweiten Teil widmen wir uns der praktischen Implementierung dieser hochperformanten Pipeline. Wir zeigen Schritt für Schritt, wie man mithilfe von Podman (auf Rocky Linux) und der Inferenz-Engine vLLM einen dedizierten, schnellen Verarbeitungsserver auf Ihrer eigenen NVIDIA-GPU aufsetzen. Anschließend bauen wir einen asynchronen Python-Client, um die volle Leistung der GPU auszuschöpfen und so selbst große Dokumentenstapel zu verarbeiten.

In diesem ersten Teil beleuchten wir die konzeptionellen Vorteile von Large Language Models (LLMs) in der Dokumentenanalyse. Die technische Implementierung und die praktischen Code-Beispiele der gegenübergestellten Pipelines folgen detailliert in einem begleitenden Artikel.

Es ist nicht lange her, dass Computer Sprache nur wiederholen konnten, eigenständig Sätze bilden, stand vollkommen außer Frage. Dass dies nicht mehr dem Zustand der Welt entspricht, ist für jeden offensichtlich, die Tage, in denen Computer nur wie Papageien sprechen, sind gezählt. Wenn man eine Prompt in das Eingabefeld eines der unzähligen Chatbots tippt, drängt sich die Frage, wie die Eingabe verstanden wird oder ob sie im wahren Sinn wirklich verstanden wird, doch beinahe auf. Wie versteht das Modell beispielsweise den Begriff „Baum“ und wie unterscheidet sich dieses Verständnis vom menschlichen Verständnis?