Überbrückung der Kluft zwischen High-Performance-Computing und souveräner KI: Teil zwei von drei
In der Vergangenheit konzentrierte sich die Datenanalyse im High-Performance-Computing in erster Linie auf F&E für die technische und verarbeitende Industrie. Während operative Anwendungsfälle für die Datenanalyse, die auf ähnlichen Big-Data-Systemen basierten, isoliert betrieben wurden.
Der Aufstieg der generativen KI (GenAI) und des maschinellen Lernens (ML) bietet heute eine bedeutende Chance, diese beiden Bereiche miteinander zu verbinden. Diese Synergie ermöglicht es Unternehmen, die über beide Geschäftsbereiche verfügen, ihr jeweiliges Fachwissen und ihre Infrastrukturinvestitionen zu nutzen, was zu einer höheren Produktivität und einem Wettbewerbsvorteil für F&E-Organisationen führt. Insbesondere Maschinenbauingenieure, die im Bereich des High-Performance-Computing tätig sind, können die Produktentwicklung erheblich beschleunigen und tiefere Einblicke in die Betriebsabläufe gewinnen, indem sie intelligente, KI-gestützte Komprimierungsmethoden (wie Modelle reduzierter Ordnung) einsetzen, die auf Big-Data-Plattformen trainiert wurden.
Diese dreiteilige Blogreihe zeigt auf, wie und warum ein souveränes Data Lakehouse – ein offenes Data Lakehouse, das unter der Souveränität eines Kunden und nicht unter der Zuständigkeit des Infrastrukturanbieters betrieben werden kann – die erforderliche Architektur darstellt, um Workflows aus den Bereichen Experimentalphysik und KI zu einer robusten, unternehmensweiten Lösung zu skalieren. Wir erklären außerdem, warum Cloudera die erste Wahl für Unternehmen ist, die die Engineering-Präzision mit der Agilität moderner Datenanalyse verbinden möchten.
Die Grundlagen des High-Performance-Computing und der Solver reduzierter Ordnung
Das Modell voller Ordnung
Das Verständnis der Funktionsweise von Simulationen ist entscheidend, um die transformative Rolle der KI im Bereich Engineering zu erkennen. Herkömmliche multiphysikalische Simulationen, wie beispielsweise die Finite-Elemente-Methode (zur Prüfung der strukturellen Integrität in der Praxis) oder Numerische Strömungsmechanik (zur Modellierung der Bewegung von Luft oder Flüssigkeiten), funktionieren, indem sie eine physikalische Struktur (wie eine Brücke) in ein „Netz“ oder ein System aus Millionen winziger Elemente zerlegen. Die mathematische Darstellung dieser Elemente nimmt oft die Form eines Systems wechselwirkender Tensoren an, also strukturierter Zahlenmengen, die zur Modellierung der Wechselwirkung von Kräften, Druck, Temperatur und Bewegung im System verwendet werden.
Das Modell voller Ordnung ist das detaillierteste und physikalisch genaueste Modell dieses Systems. Sein physikalisches Verhalten wird durch einen Solver (z. B. OpenFOAM) simuliert, der kontinuierlich komplexe Gleichungen berechnet. Dieser Prozess berechnet die Veränderungen in diesen Tensoren auf der Grundlage der Physik, einschließlich der Auswirkungen der Reaktion eines einzelnen Elements auf seine nächsten Nachbarn und das System als Ganzes. Zwar bietet das eine unglaubliche Präzision, doch der Preis dafür ist hoch: Diese Simulationen sind extrem rechenintensiv und erfordern oft, dass ein Supercomputer-Cluster tagelang läuft, nur um ein einziges Szenario zu analysieren. Das schränkt die Geschwindigkeit ein, mit der Teams iterieren, Alternativen testen oder Produkte auf den Markt bringen können.
Das Modell mit reduzierter Ordnung
Ein Modell reduzierter Ordnung ist eine KI-gestützte Methode, die komplexe Simulationen erheblich vereinfacht. Es baut auf fortgeschrittenen mathematischen Techniken auf, die von klassischen Methoden wie der Singulärwertzerlegung bis hin zu modernen künstlichen neuronalen Netzwerkarchitekturen wie Autoencodern reichen, um hochkomplexe, nichtlineare Systeme anzunähern.
Im Kern identifiziert und erfasst ein Modell reduzierter Ordnung die wichtigsten, charakteristischen Muster innerhalb der riesigen Mengen an simulierten Tensordaten, die von einem Modell voller Ordnung generiert werden.
Durch die Reduzierung des Problems schränkt das Modell reduzierter Ordnung den enormen Rechenraum effektiv auf einen viel kleineren „latenten Raum“ ein – eine vereinfachte mathematische Darstellung des Systems (im Grunde genommen ein „digitaler Zwilling“). Das bedeutet, dass ein herkömmlicher Solver Millionen komplexer Gleichungen verarbeiten muss, während das Modell reduzierter Ordnung vielleicht nur 50 latente Variablen lösen muss, um 99 % der zugrunde liegenden Physik zu berücksichtigen.
Für Maschinenbauingenieure, deren täglicher Arbeitsablauf sich um die Optimierung von Produktleistung, Zuverlässigkeit und Kosten über unzählige Kombinationen von Geometrie, Materialien, Dicke und Gewicht dreht – diese Fähigkeit verändert das Tempo der Innovation. Ihr Workflow ist im Wesentlichen eine kontinuierliche Abfolge von Was-wäre-wenn-Szenarien, die sowohl auf synthetischem Wissen aus physikbasierten Solvern als auch auf realen Einsatzdaten basiert. Die Integration von Modellen reduzierter Ordnung in diesen Prozess bietet eine Reihe bedeutender strategischer Vorteile, wie zum Beispiel:
Strategische Chancen durch Modelle reduzierter Ordnung |
Erklärung |
Wirtschaftliche Auswirkungen |
Schnelle Iteration |
Führen Sie tausende Designänderungen und hypothetische Szenarien in Sekundenschnelle durch. |
Verkürzt die Produktentwicklungszeit von Monaten auf nur wenige Tage. |
Edge-Computing-Bereitstellung |
Modelle reduzierter Ordnung sind klein und schnell genug, um direkt auf eingebetteten Controllern oder IoT-Geräten (Internet der Dinge) vor Ort ausgeführt zu werden. |
Ermöglicht Entscheidungen in Echtzeit direkt auf dem Gerät sowie eine automatisierte Kontrolle mit oder ohne Cloud-Konnektivität. |
Digitale Zwillinge in Echtzeit |
Steuert ein physikalisch informiertes neuronales Netzwerk (PINN), das parallel zur eigentlichen Maschine läuft und anhand von Live-Sensordaten das Systemverhalten sowie Anomalien vorhersagt. |
Verlagert den Schwerpunkt der Wartung von der Reparatur nach einem Ausfall hin zu einer vorausschauenden Wartung, wodurch Ausfallzeiten reduziert und die Lebensdauer der Anlagen verlängert werden. |
Entwicklung reduzierter Modelle: Von der Theorie zur Produktion
ROMs bieten einen erheblichen Mehrwert, indem sie die Engineering-Workflows beschleunigen; eine erfolgreiche Einführung erfordert jedoch die Bewältigung spezifischer technischer Einschränkungen und betrieblicher Gegebenheiten, denen sich Unternehmen systematisch stellen müssen.
Anforderungen an Schulungsdaten
Genaue Modelle reduzierter Ordnung erfordern große Datenmengen aus Modellen mit vollständiger Ordnung. So sind beispielsweise für die Erstellung eines zuverlässigen Modells reduzierter Ordnung zur Analyse von Fahrzeugunfällen 500 bis 2000 Modellläufe voller Ordnung unter verschiedenen Material- und Geometriekonfigurationen erforderlich, was mehrere Wochen Rechenzeit auf einem High-Performance-Computing-Cluster bedeutet. Sparsame Trainingsdaten erzeugen Modelle reduzierter Ordnung, die unter nicht getesteten Bedingungen katastrophal versagen. Tools zur automatisierten Versuchsplanung helfen dabei, die durchzuführenden Simulationen zu optimieren, wodurch die Anzahl der erforderlichen Simulationen mit Modellen voller Ordnung um 30 bis 40 % reduziert wird, ohne dass die Genauigkeit beeinträchtigt wird.
Kompromisse bei der Genauigkeit
Die Leistungsfähigkeit des Modells reduzierter Ordnung verschlechtert sich außerhalb der Trainingsgrenzen. Beispielsweise kann ein für Betriebstemperaturen von 800 bis 1200 °C trainiertes Modell für den reduzierten Betrieb einer Turbinenschaufel bei 1250 °C einen Fehler von 15 bis 20 % aufweisen. Dieses Problem lässt sich durch Ensemble-Modellierungstechniken und Unsicherheitsquantifizierung lösen. Wenn die Modellzuverlässigkeit unter vordefinierte Schwellenwerte fällt, können automatisierte Auslöser Validierungsläufe unter Verwendung des ursprünglichen Modells voller Ordnung initiieren.
Validierungslast
In sicherheitskritischen Bereichen (Automobilindustrie, Luft- und Raumfahrt, Energiewirtschaft usw.) erfordern Anwendungen mit Modellen reduzierter Ordnung eine strenge Validierung anhand von Modellen voller Ordnung, was oft mit erheblichem Aufwand verbunden ist (z. B. umfangreiche Korrelationsstudien). Das liegt daran, dass die Aufsichtsbehörden vor der Genehmigung ihrer Verwendung einen dokumentierten Nachweis der Gleichwertigkeit verlangen.
Obwohl der Validierungsprozess intensiv sein kann, ermöglichen Modelle reduzierter Ordnung nach der Validierung Tausende schneller Iterationen, die mit herkömmlichen Simulationen (Modellen voller Ordnung) allein nicht machbar wären.
Qualifikationslücke
Die erfolgreiche Entwicklung von Modellen reduzierter Ordnung erfordert Fachkenntnisse sowohl im Bereich des maschinellen Lernens als auch in der angewandten Physik. Ein allein arbeitender Data Scientist kann mathematisch elegante Modelle erstellen, denen die physikalische Interpretierbarkeit fehlt. Ein allein arbeitender Maschinenbauingenieur hat möglicherweise Schwierigkeiten mit der Hyperparameter-Optimierung (z. B. Auswahl der Architektur und Skalierung des Modells). Daher schneiden kleine funktionsübergreifende Teams durchweg besser ab als größere, in Silos arbeitende Gruppen. Es ist wichtig, in Schulungsprogramme zu investieren, in denen Ingenieuren moderne Tools für maschinelles Lernen vermittelt werden.
Edge-Bereitstellung
Kontrollszenarien in Echtzeit erfordern deterministische Inferenz (< 10 Millisekunden Latenz) auf eingebetteter Hardware. Nicht alle Modellarchitekturen reduzierter Ordnung erfüllen diese Anforderungen an Latenz und Speicher. Tiefe neuronale Netze überschreiten häufig die Ressourcenbudgets, während übermäßig vereinfachte lineare Modelle reduzierter Ordnung Einbußen bei der Genauigkeit mit sich bringen.
Aktuelle Best Practice: schrittweise Bereitstellung.
Beginnen Sie mit cloud-basierten Modellen reduzierter Ordnung für die Visualisierung digitaler Zwillinge und vorausschauende Wartung.
Setzen Sie Edge-Controller erst dann ein, wenn umfangreiche Hardware-in-the-Loop-Tests die Echtzeitleistung bestätigt haben.
Skalierung von Modellen reduzierter Ordnung: Von Ad-hoc-Skripten bis hin zu Machine-Learning-Ops (MLOps) in Unternehmen
Zwar ist die mathematische Grundlage von Modellen reduzierter Ordnung solide, doch besteht die größte Herausforderung darin, ihre Entwicklung und Bereitstellung unternehmensweit zu standardisieren. Derzeit stützen sich viele Forschungs- und Entwicklungsteams auf eine dezentrale Sammlung von Python-Skripten, unverwaltete Dateisysteme oder proprietäre Anbieterumgebungen. Diese Ansätze können für einzelne Projekte funktionieren, scheitern jedoch unter Governance, Compliance und branchenüblichen Open-Community-Praktiken.
Um eine Skalierung zu erreichen, müssen beim Training von Modellen reduzierter Ordnung die gleichen strengen Grundsätze der Datenverwaltung angewendet werden, wie sie beispielsweise für den Umgang mit Finanzdaten oder Kundendaten gelten.
Um diesem Wandel gerecht zu werden, müssen folgende Fragen geklärt werden:
MLOps-Anforderung |
Erklärung |
Wirtschaftliche Auswirkungen |
Verarbeitung von Daten im großen Maßstab |
Skalierbare Datenpipelines und Transformationstools (wie Spark) extrahieren Schlüsselmerkmale und standardisieren riesige Mengen historischer Simulationsdaten aus verschiedenen Solvern (z. B. OpenFOAM). |
Stellt sicher, dass komplizierte Simulationsdaten sauber, geregelt und bereit für ein zuverlässiges KI-Training sind, wodurch Nacharbeit und Risiken reduziert werden. |
Team-Experiment-Verfolgung |
Sichere, geteilte Umgebungen (wie Jupyter Notebooks), die mit neueren Tools zur Nachverfolgung von Machine-Learning-Experimenten (wie MLFlow) ausgestattet sind, ermöglichen es Physikern und Datenwissenschaftlern, gemeinsam Code zu entwickeln, verschiedene KI-Modelle zu testen und Metriken wie Hyperparameter und Verlustwerte einheitlich zu kennzeichnen. |
Gewährleistet lückenlose Rückverfolgbarkeit und Reproduzierbarkeit. Wenn ein Modell mit eingeschränkter Funktionalität in Betrieb genommen wird, können Teams sofort die genaue Version des Modells, die Daten, die Einstellungen, die Metriken zur Genauigkeitsbewertung zum Zeitpunkt der Erstellung sowie die zur Erzielung dieses Ergebnisses verwendete Hyperparameterkonfiguration nachvollziehen – was für regulierte Branchen von entscheidender Bedeutung ist. |
Um mehr zu erfahren, lesen Sie in Teil Zwei weiter!