AI Engineering Weiterbildung: Corporate LLMs & Enterprise AI

Du schaffst eine gemeinsame technische Basis für den gesamten Kurs – praxisnah und sofort anwendbar:

• Einrichtung der Entwicklungsumgebung
• Auffrischung relevanter Python-Grundlagen
• Einstieg in das Hugging-Face-Ökosystem

Einordnung des Kurses:

• Ziele
• Anwendungsfälle
• Relevanz von LLMs im Unternehmenskontext
• Überblick über zentrale Tools
• Frameworks und Workflows

• Einrichtung und Nutzung von Google Colab als cloudbasierte Entwicklungsumgebung
• Effiziente Verwendung von GPU und TPU für Machine-Learning- und LLM-Anwendungen

• Auffrischung zentraler Python-Konzepte für Datenverarbeitung und Textanalyse
• praktische Arbeit mit Bibliotheken für NLP- und ML-Workflows

• Einführung in Transformers, Datasets und Tokenizer von Hugging Face
• Nutzung vortrainierter Modelle für unternehmensnahe Anwendungsfälle

• Laden, Ausführen und Testen eines Sprachmodells mit wenigen Codezeilen
• Verständnis für Modell-Inputs, Outputs und typische Fehlerquellen

Du lernst, wie Sprache in Zahlen übersetzt wird – und wie Embeddings als Herzstück moderner NLP-Anwendungen genutzt werden.

• Funktionsweise von Tokenizern als Brücke zwischen Text und Modell
• Vergleich von Wort-, Subword-, Zeichen- und Byte-Tokenisierung
• Bewertung von Tokenizer-Eigenschaften für reale Unternehmensdaten

• Praktischer Einsatz von Tokenizern in Hugging Face
• Download und Ausführung vortrainierter Sprachmodelle
• Verständnis für Token-IDs, Vokabular und Modellinputs

• Token-Embeddings als internes Wissensfundament von LLMs
• kontextualisierte Wortrepräsentationen durch Sprachmodelle
• Interpretation von Embeddings für Analyse und Debugging

• Erzeugung leistungsfähiger Satz- und Dokumenten-Embeddings
• Einsatz von Embeddings für Suche, Clustering und Ähnlichkeitsanalysen
• Abgrenzung LLM-basierter Embeddings zu klassischen Verfahren

• Nutzung vortrainierter Word Embeddings in der Praxis
• Grundlagen von Word2Vec und kontrastivem Training
• Einsatz von Embeddings für Recommendation-Systeme (z. B. Musikempfehlungen)

Du verstehst Aufbau, Funktionsweise und Trainingslogik moderner Transformer-Modelle – fundiert, visuell und praxisnah.

• Architekturprinzipien moderner Transformer-Modelle verständlich erklärt
• Zusammenspiel von Eingaben, Ausgaben und Modellrepräsentationen
• Einordnung von Transformern als technisches Rückgrat heutiger LLMs

• Ablauf des Forward Pass von Token-Eingabe bis Modelloutput
• Sampling- und Decoding-Strategien zur kontrollierten Textgenerierung
• Einfluss von Wahrscheinlichkeitsverteilungen auf Qualität und Stil

• Parallele Tokenverarbeitung und Kontextfenster im Detail
• Beschleunigung der Generierung durch Key-Value-Caching
• Performance-Optimierung für produktive LLM-Anwendungen

• Aufbau und Funktion zentraler Komponenten im Transformer-Block
• Rolle von Attention, Feedforward-Netzen und Normalisierung
• Verständnis für Modellverhalten, Stabilität und Skalierung

• Positional Embeddings (RoPE) und alternative Positionskodierungen
• Effizientere Attention-Varianten für große Kontextlängen
• Überblick über aktuelle architektonische Weiterentwicklungen

Du setzt vortrainierte LLMs effizient für reale Klassifikationsaufgaben ein – von Sentimentanalyse bis Themenzuordnung.

• Klassifikation als Schlüsselanwendung für Textanalyse im Unternehmen
• Praxisnahe Beispiele wie Sentimentanalyse und Themenzuordnung
• Übertragbarkeit auf Kundenfeedback, Tickets und Dokumente

• Einsatz vortrainierter Encoder-Modelle für robuste Klassifikation
• Modell- und Architekturwahl passend zum Anwendungsfall
• Effiziente Umsetzung mit Hugging-Face-Tools

• Nutzung spezialisierter Modelle für maximale Genauigkeit
• Training und Feinabstimmung mit gelabelten Daten
• Bewertung von Modellleistung und Klassifikationsergebnissen

• Embedding-basierte Klassifikation als flexible Alternative
• Strategien für Szenarien ohne gelabelte Trainingsdaten
• Schneller Einstieg in produktive Klassifikationslösungen

• Textklassifikation mit generativen Modellen (Text-to-Text)
• Einsatz von ChatGPT-ähnlichen Modellen für Zero- und Few-Shot-Setups
• Abwägung von Kosten, Kontrolle und Qualität im Unternehmenseinsatz

Du strukturierst große Textmengen automatisiert und gewinnst neue inhaltliche Einblicke durch moderne Clustering- und Topic-Modeling-Ansätze.

• Text-Clustering als Werkzeug zur Strukturierung großer Textmengen
• Praxisnahe Use Cases wie Dokumentenanalyse und Wissensextraktion
• Übertragbarkeit auf Unternehmensdaten (Reports, Tickets, Feedback)

• End-to-End-Workflow von Textdaten zu semantischen Clustern
• Erzeugung aussagekräftiger Dokument-Embeddings
• Skalierbarer Ansatz für große Textsammlungen

• Reduktion hochdimensionaler Embeddings für bessere Strukturierung
• Einsatz gängiger Clustering-Verfahren auf Embedding-Basis
• Verständnis für Clusterqualität und Stabilität

• Interpretation und Validierung der entstandenen Cluster
• Übergang von Clustering zu automatisierter Themenmodellierung
• Mehrwert durch transparente und erklärbare Ergebnisse

• Einsatz von BERTopic als modulares Topic-Modeling-Framework
• Erweiterung durch generative Textbausteine („Lego Blocks“)
• Flexible Anpassung an unternehmensspezifische Anforderungen

Du entwickelst leistungsfähige semantische Suchsysteme, die weit über klassische Keyword-Suche hinausgehen.

• Abkehr von Keyword-Suche hin zu semantischem Retrieval
• Einsatz von Sprachmodellen für inhaltliches Textverständnis
• Typische Business-Use-Cases wie Wissenssuche und Dokumentenabfrage

• Embedding-basiertes Dense Retrieval für präzise Suchergebnisse
• Reranking-Strategien zur Verbesserung der Ergebnisqualität
• Einsatz geeigneter Metriken zur objektiven Retrieval-Bewertung

• Kombination aus Suche und Textgenerierung für faktenbasierte Antworten
• Übergang von reiner Suche zu kontextgestützter Generierung
• Mehrwert von RAG für zuverlässige Unternehmensanwendungen

• Umsetzung von RAG mit Cloud-APIs und lokalen LLMs
• Vergleich von Kontrollgrad, Kosten und Datenschutz
• Praxisbeispiele für „Grounded Generation“

• Erweiterte RAG-Techniken für komplexe Anwendungsfälle
• Bewertung von Antwortqualität und Halluzinationsrisiken
• Best Practices für robuste, produktive RAG-Systeme

Du erzeugst kontrolliert Texte mit generativen Modellen und lernst Prompt-Engineering sowie Decoding-Strategien kennen.

• Überblick über generative Transformer-Modelle und ihre Einsatzmöglichkeiten
• Auswahl geeigneter Modelle für unterschiedliche Business-Anforderungen
• Laden und Inbetriebnahme von Textgenerierungsmodellen mit Hugging Face

• Einfluss von Decoding- und Sampling-Strategien auf Qualität und Stil
• Kontrolle von Länge, Kreativität und Konsistenz der Ausgaben
• Reduktion unerwünschter oder unpräziser Modellantworten

• Struktur und Bausteine wirksamer Prompts
• Instruction-Based und kontextabhängiges Prompting
• Entwicklung komplexer Prompts für reproduzierbare Ergebnisse

• Nutzung von Beispielen zur Leistungssteigerung ohne Modelltraining
• Chain-of-Thought- und Chain-Prompting-Strategien
• Verbesserung von Antwortqualität durch strukturierte Denkpfade

• Self-Consistency und Tree-of-Thought zur Ergebnisabsicherung
• Output-Verifikation und regelbasierte Einschränkungen
• Best Practices für robuste, produktive Textgenerierung

Advanced-Modul für Teilnehmer, die tiefer einsteigen möchten: Du trainierst und optimierst eigene Embedding-Modelle und passt diese gezielt an domänenspezifische Anforderungen deines Unternehmens an.

• Rolle spezialisierter Embedding-Modelle für semantische Anwendungen
• Kontrastives Lernen als Schlüsseltechnik für hochwertige Repräsentationen
• Abgrenzung zu allgemeinen LLM-Embeddings

• Einsatz von SBERT für effiziente Satz- und Dokumenten-Embeddings
• Erstellung eigener Embedding-Modelle auf Basis vortrainierter Transformer
• Verständnis der Architektur- und Designentscheidungen

• Generierung kontrastiver Trainingsbeispiele
• Auswahl geeigneter Loss-Funktionen für Embedding-Qualität
• Tiefgehende Evaluation zur Sicherstellung semantischer Leistungsfähigkeit

• Überwachtes Fine-Tuning mit domänenspezifischen Labels
• Augmented-SBERT-Ansätze für begrenzte Datenmengen
• Optimierung bestehender Modelle für reale Use Cases

• Unüberwachtes Embedding-Training ohne manuelle Labels
• Einsatz von TSDAE für domänenspezifische Anpassungen
• Skalierbare Strategien für neue Fachbereiche und Datenquellen

Advanced-Modul für praxisorientierte Anwender: Du passt vortrainierte BERT-Modelle gezielt an eigene Daten und spezifische Klassifikationsanforderungen an und lernst Best Practices für produktive Szenarien kennen.

• Einsatz vortrainierter BERT-Modelle für präzise Textklassifikation
• Anpassung an unternehmensspezifische Klassifikationsaufgaben
• Verständnis für Trainingsabläufe und Modellsteuerung

• Freezing und gezieltes Entfrieren von Modellschichten
• Reduktion von Trainingskosten bei stabiler Modellleistung
• Optimale Balance zwischen Performance und Ressourcenverbrauch

• Hochwertige Klassifikation mit sehr wenigen Trainingsbeispielen
• Einsatz von SetFit für schnelle und robuste Modellanpassung
• Ideal für Anwendungsfälle mit begrenzten Label-Daten

• Weitertraining mit Masked Language Modeling auf eigenen Texten
• Verbesserung des Sprachverständnisses für Fach- und Branchentexte
• Nachhaltige Steigerung der Modellqualität vor dem Fine-Tuning

• Extraktion von Entitäten wie Namen, Orte oder Fachbegriffe
• Datenaufbereitung und Fine-Tuning für NER-Aufgaben
• Einsatz von NER für Automatisierung und Wissensextraktion

Advanced-Modul für Teilnehmer mit vertieftem Interesse an generativer KI: Du lernst, generative Sprachmodelle gezielt für unternehmensspezifische Anwendungsfälle zu trainieren und qualitativ zu bewerten.

• Überblick über die drei zentralen Trainingsphasen moderner Sprachmodelle:
  • Pretraining
  • Fine-Tuning
  • Alignment
• Einordnung von Supervised Fine-Tuning (SFT) als Basis für unternehmensspezifische Anpassungen
• Entscheidungsgrundlage: Wann Full Fine-Tuning sinnvoll ist – und wann nicht

• Parameter-Efficient Fine-Tuning (PEFT): Große Modelle mit minimalem Ressourcenverbrauch anpassen
• Instruction Tuning mit LoRA & QLoRA – leistungsstarkes Fine-Tuning auch auf Standard-Hardware
• praxisnahe Konfiguration: Quantisierung, LoRA-Parameter und Trainings-Setups

• Strukturierung und Templating von Instruction- und Alignment-Daten für stabile Ergebnisse,
• End-to-End-Training: von der Trainingskonfiguration bis zum finalen Modell
• Merge & Deployment: Fine-Tuning-Gewichte effizient zusammenführen und produktiv nutzen

• Automatisierte Bewertung mit Wortmetriken, Benchmarks und Leaderboards
• Systematische Modellvergleiche für fundierte Architektur- und Modellentscheidungen
• Human Evaluation: Qualität, Sicherheit und Business-Tauglichkeit realistisch einschätzen

• Grundlagen von Alignment, RLHF und modernen Alternativen wie Direct Preference Optimization (DPO)
• Training und Einsatz von Reward Models zur automatisierten Präferenzbewertung
• Preference Tuning ohne explizites Reward Model – schneller Weg zu besserem Modellverhalten