Auf ein Bild blickt jeder in einer Sekunde, ein Rechner braucht dafür Modelle. Die Nordlicht Reisen GmbH hat vier Sorten Material, die kein reiner Text sind: Fotos von Hotelzimmern, die Reisende hochladen, Rechnungen und Buchungsbestätigungen als PDF, Tonaufnahmen der Hotline und vielleicht eines Tages Videos. Diese Lektion klärt drei Dinge: wie Maschinen Bilder verstehen (Bildverarbeitung, englisch computer vision), wie Modelle Bilder erzeugen und wie aus Text, Bild, Audio und Video strukturierte Informationen werden. Nichts davon führt die Lektion gegen Azure aus. Die Angaben stammen aus Microsoft Learn.

Bilder verstehen

Für Aufgaben an Bildern nennt Learn zwei Wege. Der erste sind Modelle mit Bildeingabe (multimodale Modelle) in Foundry: Sie geben ein Bild mit einer Frage in den Prompt und bekommen Text zurück (Lektion 2.8). Der zweite ist Azure Vision (bei Learn „Azure Vision in Foundry Tools“) mit drei Produktgruppen:

Dienst Was er tut Status laut Learn
Face erkennt, vergleicht und analysiert Gesichter in Bildern eigener Dienst
Image Analysis liest Merkmale aus Bildern: Beschreibung (Caption), Tags, Objekte, Personen als „legacy“ geführt, Version 4.0 veraltet (deprecated)
OCR (Optical Character Recognition) liest gedruckten und handgeschriebenen Text aus Bildern und Dokumenten als „legacy“ geführt

Was Image Analysis 4.0 liefert, kennt die Prüfung als Begriffe: Caption (ein Satz zum ganzen Bild), Dense Captions (Beschreibungen einzelner Objekte mit Rahmen), Tags (Schlagwörter zu Objekten, Szenerie, Handlungen), Objekterkennung (Objekte mit Koordinaten des Rahmens), Personenerkennung und Textlesen. Der Bildanalysedienst ist nach Learn veraltet und wird eingestellt; Learn empfiehlt, auf Alternativen umzustellen. Als Ersatz nennt es: für Texterkennung Azure Document Intelligence, für Gesichter den Face-Dienst, für Bildbeschreibung und eigene Auswertungen GPT-Modelle in Foundry und für eine verwaltete Lösung Azure Content Understanding. Das Datum der Einstellung steht auf Learn und gehört nicht in diese Lektion. Wer neu baut, beginnt mit einem Modell mit Bildeingabe (Lektion 2.8).

Nordlicht: Ein Zimmerfoto wie zimmerfoto.jpg soll geprüft werden. Ein Dienst zur Bildanalyse würde etwa eine Caption, Tags und erkannte Objekte liefern. Ein Modell mit Bildeingabe beantwortet freie Fragen wie „Ist ein Balkon zu sehen?“ (die Antwort ist hier nur das Beispiel, nicht gemessen). Auf Fotos von Reisenden können Gesichter zu sehen sein. Das berührt Datenschutz und Sicherheit (Lektion 1.1).

Bilder erzeugen

Ein Bilderzeugungsmodell erzeugt aus einer Textbeschreibung ein neues Bild. Learn führt unter den von Azure verkauften Modellen eine Reihe auf, zum Beispiel gpt-image-1; weitere stammen von anderen Anbietern. Für die Beschreibung („Prompt“) nennt Learn bei diesen Modellen eine Grenze von 4.000 Zeichen. Zusätzlich lassen sich vorhandene Bilder bearbeiten: Eine Maske legt fest, welcher Bereich verändert wird, der Rest bleibt unberührt.

Die Grenzen und Schutzmaßnahmen sind prüfungsrelevant:

  • Eingebauter Schutz: Azure prüft Eingabe und Ausgabe aller Bilderzeugungsmodelle mit Inhaltsfiltern und Missbrauchserkennung. Erkennt der Dienst einen schädlichen Prompt, liefert er kein Bild.
  • Fotorealistische Bilder von Minderjährigen sind standardmäßig gesperrt.
  • Keine Immunität: Laut Learn können Bildmodelle trotz technischer Maßnahmen schädliche oder unerwartete Inhalte erzeugen, zum Beispiel Gewalt, sexuelle Inhalte, Darstellungen öffentlicher Personen oder geschützte Marken. Kein generatives Modell ist gegen gezielte Angriffe gefeit. Der Inhaltsfilter ersetzt die Prüfung durch Menschen nicht (KI-Track, T6.3).
  • Transparenz: Learn empfiehlt, KI-erzeugte Bilder bei Veröffentlichung als solche zu kennzeichnen und die geltenden Nutzungsbedingungen und das Urheberrecht zu beachten.

Nordlicht: Für einen Reisekatalog dürfte ein erzeugtes Stimmungsbild dienen, mit Kennzeichnung. Ein erzeugtes „Foto“ eines echten Hotelzimmers wäre dagegen Täuschung. Das ist die Regel des Falls und folgt aus der Transparenz.

Informationen extrahieren

Informationsextraktion macht aus unstrukturiertem Inhalt strukturierte Daten, etwa Felder mit Wert, die eine Datenbank aufnimmt. Die Technik hängt von der Eingabe ab:

Eingabe Techniken Ergebnis
Text Entitäten und Schlüsselbegriffe (Lektion 1.5); ein Sprachmodell kann Felder aus Text ziehen Listen, Felder
Bild OCR für Text im Bild; Felder nach einem Schema, etwa Zustand oder Anzahl Text, Felder
Dokument (PDF, Scan) OCR, Erkennung von Layout (Absätze, Tabellen, Markierungsfelder) und Feldextraktion Markdown oder Felder mit Wert
Audio Transkription, Sprechertrennung, Felder wie Zusammenfassung und Stimmung Transkript, Felder
Video Transkription gesprochener Sprache, Erkennung wichtiger Bildelemente, Aufteilung in Szenen Beschreibungen, Felder

Azure Content Understanding (in Foundry Tools) ist das Werkzeug, das Dokumente, Bilder, Audio und Video mit Hilfe generativer KI in ein von Ihnen festgelegtes Ausgabeformat verarbeitet. Ein Analyzer legt fest, wie verarbeitet wird, und enthält das Schema der Felder. Die Felder entstehen auf drei Arten: Extract (Werte so übernehmen, wie sie im Dokument stehen), Classify (aus vorgegebenen Kategorien wählen) und Generate (frei aus den Daten bilden, etwa eine Zusammenfassung). Zu jedem Wert gibt es Konfidenzwerte (0 bis 1) und die Stelle der Herkunft (Grounding), damit Menschen schnell prüfen können. Die Ausgabe ist Markdown oder JSON. Content Understanding gibt es im Foundry-Portal, Lektion 2.9 baut damit.

Nordlicht:

  • rechnung-seeblick.pdf: Hotelname, Rechnungsdatum und Betrag als Felder. Ein niedriger Konfidenzwert schickt die Rechnung zur Prüfung an einen Menschen.
  • anruf-hotline.wav: Lektion 1.4 hat den Anruf der Sprache zugeordnet. Content Understanding bietet für Anrufe laut Learn auch einen vorgefertigten Analyzer (Transkript mit Rollen, Zusammenfassung, Stimmung). Das ist eine Alternative, die Entscheidung des Falls bleibt.
  • Für ein Bild, bei dem es vor allem um Text geht, rät Learn zu einem Dokument-Schema statt eines Bild-Analyzers.

Übung 1

Wählen Sie Technik oder Werkzeug und begründen Sie kurz:

  1. Auf einem Foto vom Hotelschild soll der Name gelesen werden.
  2. Zu hochgeladenen Fotos soll jeweils ein Satz Beschreibung entstehen, der Dienst soll neu gebaut werden.
  3. Aus gescannten Rechnungen sollen Datum und Summe in eine Tabelle.
  4. Ein Prospekt braucht ein Titelbild mit Strand und Palmen, die Abteilung hat kein Foto.
  5. Aus Hotline-Aufnahmen sollen Sprecherrollen, Zusammenfassung und Stimmung kommen.

Lösung 1
  1. OCR, also Text aus Bildern lesen.
  2. Ein Modell mit Bildeingabe in Foundry. Der ältere Bildanalysedienst ist veraltet.
  3. Feldextraktion für Dokumente (zum Beispiel mit Content Understanding), mit Konfidenzwerten für die Prüfung.
  4. Ein Bilderzeugungsmodell. Das Ergebnis wird als KI-erzeugt gekennzeichnet.
  5. Ein Audio-Analyzer von Content Understanding. Er liefert Transkript mit Rollen und Felder wie Zusammenfassung und Stimmung.

Weiterlesen