Texte schneiden: Chunking

Das lernen Sie in dieser Lektion

• begründen, warum man Texte vor dem Einbetten in Abschnitte schneidet und wie groß ein Abschnitt sein soll
• Markdown mit Microsoft.Extensions.DataIngestion lesen und mit dem HeaderChunker an Überschriften schneiden
• erkennen, wann ein Chunker mitten im Wort schneidet und wann Überlappung hilft
• jedem Abschnitt Quelle, Überschrift und einen Hash mitgeben, mit dem die Kladde nur Geändertes neu einbettet
• das Einlesen der Hilfe als Pipeline beim Start der Kladde laufen lassen und mit Tests absichern