Wie funktioniert das Gesamtsystem?

Das Herzstück von Liberino AI ist eine vollständig automatisierte, zweistufige Pipeline. Sie verwandelt ein beliebiges digitales Buch (z. B. eine EPUB-Datei) ohne menschliches Eingreifen in ein strukturiertes, multimodales Wissensnetz.

Der 5-Schritte-Lebenszyklus eines Buches

sequenceDiagram
    autonumber
    actor User as Redaktion / Leser
    participant Ingest as 📥 Ingestion Service
    participant TextLLM as 📖 Textanalyse (Phase 1)
    participant Vision as 🖼️ Bildverarbeitung (Phase 2)
    participant Matcher as 🔗 Bipartiter Matcher
    participant DB as 💾 Directus Lore-Datenbank
    participant Writer as ✍️ Agentic Writer & Auditor

    User->>Ingest: Buch hochladen (EPUB / PDF)
    Ingest->>TextLLM: Text kapitelweise zerlegen & global analysieren
    TextLLM-->>DB: Figuren, Orte, Regeln, Farbpaletten & Skalierungen speichern
    Ingest->>Vision: Buch-Illustrationen unüberwacht scannen & segmentieren
    Vision-->>Matcher: Visuelle Entitäts-Ausschnitte übergeben
    Matcher->>DB: Text-Figuren mit Bildausschnitten abgleichen
    User->>Writer: Neue Szene anfordern ("Schreibe die Szene am Fluss")
    Writer->>DB: Kanon-Fakten & aktuelle Figuren-Zustände abrufen
    Writer-->>User: Geprüfte, widerspruchsfreie Szene ausliefern

1. Schritt: Buch einlesen & zerlegen (Ingestion)

Im ersten Schritt nimmt der Service die Buchdatei entgegen. Unterstützt werden standardisierte E-Books (EPUB 2 / EPUB 3) sowie Manuskripte.

• Strukturelle Bereinigung: Der Ingestion-Dienst entfernt unnötigen Verlagscode, formatiert Textblöcke sauber und identifiziert Kapitel und Szenen anhand der Buchstruktur.
• Extraktion aller Bilder: Sämtliche im Buch enthaltenen Grafiken und Illustrationen werden in voller Originalauflösung extrahiert und in Directus abgelegt.
• Spracherkennung: Die Sprache des Dokuments wird automatisch erkannt (unterstützt werden 73 Sprachen inklusive CJK, Kyrillisch und Arabisch).

2. Schritt: Das literarische Universum verstehen (Phase 1: Globale Textanalyse)

Ein spezialisiertes Sprachmodell liest alle Kapitel und baut das Kanon-Profil des Buches auf:

• Wer kommt vor? Identifikation von Hauptfiguren (main), Nebenrollen (supporting) und Statisten (extra).
• Wie sehen sie aus? Haarfarben, Kleidung, besondere Merkmale (z. B. Narben, Brillen, Tierohren).
• Feste Farbpaletten: Zuordnung exakter Farb-Hex-Codes (z. B. #e11d48 für eine rote Mütze).
• Relative Größenverhältnisse (Größenanker): Wer ist größer als wer? (z. B. „Oskar ist halb so groß wie Kokosnuss“).
• Negative Ausschlussregeln: Was ist explizit nicht der Fall? (z. B. „Keine Flügel“, „Kein Erwachsener“). Dies verhindert spätere Verwechslungen bei ähnlichen Figuren.

3. Schritt: Die Bilder analysieren (Phase 2: Unüberwachte Bildsegmentierung)

Während herkömmliche Systeme vorgefertigte Objekterkenner nutzen (die nur generische Dinge wie „Person“ oder „Auto“ erkennen), nutzt Liberino AI Gemini 3 Flash in Kombination mit computer-vision-gestützter Bounding-Box-Verfeinerung:

1. Freies Entdecken: Die KI scannt das Bild und markiert alle Figuren und wesentlichen Gegenstände mit Koordinaten ($0 \dots 1000$ Promille).
2. Körperteil-Vollständigkeit: Ein morphologischer Algorithmus stellt sicher, dass Figuren nicht an Knöcheln oder Ohren abgeschnitten werden.
3. Automatischer Zuschnitt (Cropping): Aus den Koordinaten werden verlustfreie WebP-Bildausschnitte (Avatare) erstellt und dauerhaft gespeichert.

4. Schritt: Text und Bild zusammenführen (Bipartiter Matcher)

Nun werden die Text-Profile aus Schritt 2 mit den Bildausschnitten aus Schritt 3 zusammengeführt.

Ein mathematischer Bipartiter Matching-Algorithmus berechnet für jedes Figuren-Paar eine Wahrscheinlichkeit unter Berücksichtigung von:

• Farb-Übereinstimmungen (trägt die Figur im Bild die Farben aus dem Text?)
• Negativ-Regeln (hat die Figur im Bild Flügel, obwohl der Text Flügel verbietet?)
• Größenverhältnissen (stimmt die relative Höhe im Bild mit den Textangaben überein?)
• Text-Debüt (taucht eine Figur auf dem Bild auf, bevor sie im Buch überhaupt eingeführt wurde?)

Das Ergebnis ist eine saubere, zweifelsfreie Zuordnung: Jeder Charakter im Buch besitzt nun seine kanonischen Zitate, Beschreibungen und eine Galerie echter Bildausschnitte.

5. Schritt: Generieren & Auditieren (Agentic RAG)

Wenn nun eine neue Szene geschrieben oder ein Kapitel personalisiert werden soll:

1. Router: Ermittelt, welche Figuren, Orte und Regeln für die gewünschte Szene relevant sind.
2. Directus Retrieval: Holt die exakten Fakten und den aktuellen Zustand (z. B. „In Kapitel 4 hat die Figur ihren Rucksack verloren“).
3. Writer Engine: Schreibt den Text im gewünschten Autorenstil.
4. Continuity Auditor: Prüft das Ergebnis zeilenweise auf Widersprüche. Erkennt der Auditor einen Fehler (z. B. „Figur greift in den Rucksack, den sie nicht mehr besitzt“), wird der Text verworfen und mit konkreter Fehlerkorrektur neu generiert.