Blog

Moderne Gebäude sind längst nicht mehr nur Beton, Glas und Stahl. Sie verhalten sich wie lebendige Systeme, die kontinuierlich auf Wetter, Belegung und menschliches Verhalten reagieren. Im Zentrum dieser Systeme steht die HVAC-Infrastruktur (Heating Ventilation and Air Conditioning), die leise für Komfort und Produktivität sorgt und gleichzeitig für einen überraschend großen Anteil des globalen Energieverbrauchs verantwortlich ist. In der Europäischen Union sind Gebäude einer der wichtigsten Hebel für Energie- und Klimaziele....

Nachdem wir im ersten Teil unserer Serie beleuchtet haben, wie sich LLM-basierte OCR grundlegend von klassischen Verfahren unterscheidet, und im zweiten Teil die technische Umsetzung beleuchtet haben, widmen wir uns nun der entscheidenden Frage der Modellwahl. Der Markt für Open-Source-Modelle bewegt sich rasant, und die Wahl des richtigen „Motors“ bestimmt maßgeblich über die Qualität und Effizienz der Pipeline.

In diesem zweiten Teil widmen wir uns der praktischen Implementierung dieser hochperformanten Pipeline. Wir zeigen Schritt für Schritt, wie man mithilfe von Podman (auf Rocky Linux) und der Inferenz-Engine vLLM einen dedizierten, schnellen Verarbeitungsserver auf Ihrer eigenen NVIDIA-GPU aufsetzen. Anschließend bauen wir einen asynchronen Python-Client, um die volle Leistung der GPU auszuschöpfen und so selbst große Dokumentenstapel zu verarbeiten.

In diesem ersten Teil beleuchten wir die konzeptionellen Vorteile von Large Language Models (LLMs) in der Dokumentenanalyse. Die technische Implementierung und die praktischen Code-Beispiele der gegenübergestellten Pipelines folgen detailliert in einem begleitenden Artikel.

Es ist nicht lange her, dass Computer Sprache nur wiederholen konnten, eigenständig Sätze bilden, stand vollkommen außer Frage. Dass dies nicht mehr dem Zustand der Welt entspricht, ist für jeden offensichtlich, die Tage, in denen Computer nur wie Papageien sprechen, sind gezählt. Wenn man eine Prompt in das Eingabefeld eines der unzähligen Chatbots tippt, drängt sich die Frage, wie die Eingabe verstanden wird oder ob sie im wahren Sinn wirklich verstanden wird, doch beinahe auf. Wie versteht das Modell beispielsweise den Begriff „Baum“ und wie unterscheidet sich dieses Verständnis vom menschlichen Verständnis?