Die meisten starten mit RAG ungefähr so: Dokumente rein, Embeddings drauf, fertig. Und ehrlich gesagt: das funktioniert auch. Solange es nur ein paar hundert Seiten sind.

Zuletzt baute ich für einen Kunden ein Setup mit ~8.000 Seiten technische Doku und Normen. Ab diesem Volumen fängt man an zu verstehen, warum „einfach reinschubsen" nicht mehr zielführend ist.

- OCR die nur Text rauszieht hilft wenig wenn die Infos in Tabellen oder stecken. - Ohne Reranking wird viel Unsinn zu hoch gewichtet. - Hybride Suche (Vektor + exakt, z.B. grep) ist Pflicht. - Wenn der Prompt das Retrieval nicht absichert, halluziniert das System über Lücken hinweg.

Was mich am meisten Zeit gekostet hat: A/B-Vergleiche für jede Pipeline-Änderung. Ein Katalog echter Fragen aus dem Fachbereich. Und Erfolgskriterien die nicht „fühlt sich besser an" heißen.