Blog

OCR für sensible Daten auf eigener GPU

In diesem zweiten Teil widmen wir uns der praktischen Implementierung dieser hochperformanten Pipeline. Wir zeigen Schritt für Schritt, wie man mithilfe von Podman (auf Rocky Linux) und der Inferenz-Engine vLLM einen dedizierten, schnellen Verarbeitungsserver auf Ihrer eigenen NVIDIA-GPU aufsetzen. Anschließend bauen wir einen asynchronen Python-Client, um die volle Leistung der GPU auszuschöpfen und so selbst große Dokumentenstapel zu verarbeiten.