doc_build

m.stangl/doc_build

Fork 0

Commit Graph

Author	SHA1	Message	Date
m.stangl	982879d9f0	fix: Ueberschriften-Erkennung, Bild-Referenzierung und Symbol-Qualitaet Behebt mehrere Extraktionsprobleme in lib/pdf_extract.py, die zu doppelter Nummerierung, sinnentleertem Text und falsch dimensionierten Symbolen fuehrten: - Ueberschriften nur noch bei grosser/fetter Quellschrift (>= 12.5pt oder bold) statt bei jeder Zeile mit Nummern-Praefix. Vorher wurden hunderte normale Textzeilen (Querverweise, Aufzaehlungen) faelschlich zu Ueberschriften. - Bildunterschriften ("Abbildung N: ...") werden nie mehr als Ueberschrift gerendert (Caption-Erkennung vor Heading-Check, Merge-Regel verschaerft), sondern als kursiver Absatz bzw. figure-Caption. - Symbole (Warn-/Gebots-/Verbotspiktogramme) werden per Piktogramm-Heuristik (Signalfarben + wenige Flaechenfarben) erkannt statt nur ueber Haeufigkeit - findet auch Symbole, die im Dokument nur 1x vorkommen (z.B. Warndreiecke). Auf quadratische Canvas normalisiert (normalize_symbol) und einheitlich klein referenziert (:height: 10mm, :align: left), damit alle Symbole unabhaengig vom Seitenverhaeltnis der Quelle gleich gross erscheinen. - Junk-Erkennung erweitert: gerenderte Kapitelnummern-Bilder, Barcodes und Foto-Ausschnitte werden nicht mehr als Symbol/Inhaltsbild extrahiert. - Manuelle SYMBOL_BLOCKLIST (aHash-basiert) fuer sichtgepruefte Fehlklassi- fikationen (Foto-/3D-/Diagramm-Fragmente), damit sie bei erneuter Konvertierung nicht wieder auftauchen. - Verzeichnislisten (Lieferantendoku etc.) werden im LaTeX-Build quer (landscape via pdflscape) gesetzt, da die langen Quellpfade in Hochformat nicht passten. assets/shared/symbols/: auf normalisierte .png umgestellt, 7 Fehlklassi- fikationen (Fotos/3D-Renderings/Diagramme statt Piktogramme) entfernt. Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>	2026-09-23 15:23:29 +02:00
m.stangl	bbfe17ec37	feat: Symbole zentralisieren + Fragment-Ueberschriften filtern Perceptual-Hash-basierte Symbol-/Duplikaterkennung in lib/pdf_extract.py: - average_hash() (aHash) + Hamming-Distanz statt exaktem Byte-Hash: erkennt visuell gleiche Bilder trotz unterschiedlicher Skalierung/Kompression - Symbole (klein <=260px UND mehrfach vorkommend, z.B. Warndreiecke) werden EINMAL zentral nach assets/shared/symbols/symbol_<hash>.png abgelegt und im RST als .. image:: (12mm, zentriert) auf die eine Quelle referenziert - dokumentuebergreifend (registry). Ein Warndreieck: 1x gespeichert statt 58x - grossformatige Inhaltsbild-Duplikate ebenfalls ueber aHash zusammengefuehrt - Fragment-"Ueberschriften" (POS, li., re., "bar, max. 10 bar") unterdrueckt - Altbestand assets/shared/symbols/img_*.png (durcheinander benannt) entfernt Wirkung: omniflo images/ 83 -> 62, 14 zentrale Symbole statt zig Duplikate. Voller PDF-Build sauber (lualatex exit 0, 719 Seiten). Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>	2026-09-23 14:10:33 +02:00

Author

SHA1

Message

Date

m.stangl

982879d9f0

fix: Ueberschriften-Erkennung, Bild-Referenzierung und Symbol-Qualitaet

Behebt mehrere Extraktionsprobleme in lib/pdf_extract.py, die zu doppelter
Nummerierung, sinnentleertem Text und falsch dimensionierten Symbolen fuehrten:

- Ueberschriften nur noch bei grosser/fetter Quellschrift (>= 12.5pt oder bold)
  statt bei jeder Zeile mit Nummern-Praefix. Vorher wurden hunderte normale
  Textzeilen (Querverweise, Aufzaehlungen) faelschlich zu Ueberschriften.
- Bildunterschriften ("Abbildung N: ...") werden nie mehr als Ueberschrift
  gerendert (Caption-Erkennung vor Heading-Check, Merge-Regel verschaerft),
  sondern als kursiver Absatz bzw. figure-Caption.
- Symbole (Warn-/Gebots-/Verbotspiktogramme) werden per Piktogramm-Heuristik
  (Signalfarben + wenige Flaechenfarben) erkannt statt nur ueber Haeufigkeit -
  findet auch Symbole, die im Dokument nur 1x vorkommen (z.B. Warndreiecke).
  Auf quadratische Canvas normalisiert (normalize_symbol) und einheitlich
  klein referenziert (:height: 10mm, :align: left), damit alle Symbole
  unabhaengig vom Seitenverhaeltnis der Quelle gleich gross erscheinen.
- Junk-Erkennung erweitert: gerenderte Kapitelnummern-Bilder, Barcodes und
  Foto-Ausschnitte werden nicht mehr als Symbol/Inhaltsbild extrahiert.
- Manuelle SYMBOL_BLOCKLIST (aHash-basiert) fuer sichtgepruefte Fehlklassi-
  fikationen (Foto-/3D-/Diagramm-Fragmente), damit sie bei erneuter
  Konvertierung nicht wieder auftauchen.
- Verzeichnislisten (Lieferantendoku etc.) werden im LaTeX-Build quer
  (landscape via pdflscape) gesetzt, da die langen Quellpfade in Hochformat
  nicht passten.

assets/shared/symbols/: auf normalisierte .png umgestellt, 7 Fehlklassi-
fikationen (Fotos/3D-Renderings/Diagramme statt Piktogramme) entfernt.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>

2026-09-23 15:23:29 +02:00

m.stangl

bbfe17ec37

feat: Symbole zentralisieren + Fragment-Ueberschriften filtern

Perceptual-Hash-basierte Symbol-/Duplikaterkennung in lib/pdf_extract.py:

- average_hash() (aHash) + Hamming-Distanz statt exaktem Byte-Hash: erkennt
  visuell gleiche Bilder trotz unterschiedlicher Skalierung/Kompression
- Symbole (klein <=260px UND mehrfach vorkommend, z.B. Warndreiecke) werden
  EINMAL zentral nach assets/shared/symbols/symbol_<hash>.png abgelegt und im
  RST als .. image:: (12mm, zentriert) auf die eine Quelle referenziert -
  dokumentuebergreifend (registry). Ein Warndreieck: 1x gespeichert statt 58x
- grossformatige Inhaltsbild-Duplikate ebenfalls ueber aHash zusammengefuehrt
- Fragment-"Ueberschriften" (POS, li., re., "bar, max. 10 bar") unterdrueckt
- Altbestand assets/shared/symbols/img_*.png (durcheinander benannt) entfernt

Wirkung: omniflo images/ 83 -> 62, 14 zentrale Symbole statt zig Duplikate.
Voller PDF-Build sauber (lualatex exit 0, 719 Seiten).

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-09-23 14:10:33 +02:00

2 Commits