Cloudera optimiert Ihre private KI mit Cloudera AI Inference, AI-Q NVIDIA Blueprint und NVIDIA NIM
Wenn wir mit unseren Kunden über ihre Ziele im Bereich KI sprechen, hören wir immer wieder, dass ihre Pläne und Implementierungen mitunter aufgrund von Datenschutzbedenken ins Stocken geraten. Sie möchten KI für alle ihre Unternehmensdaten einsetzen, da ihre Mitarbeiter und Kunden auf diese Weise die genauesten Ergebnisse und Antworten erhalten. Sie sind sich jedoch bewusst, dass sie ihre Daten nicht an einen öffentlichen Endpunkt für ein Closed-Source-Large-Language-Model (LLM) senden können, da 1) die Datenmenge zu groß ist und 2) ihre Daten nicht mehr privat wären.
Als Antwort auf diese Bedenken hat Cloudera begonnen, das Konzept der privaten KI zu propagieren, das es diesen Kunden ermöglichen würde, alle Vorteile der KI zu nutzen und gleichzeitig ihre proprietären Daten sicher und geschützt zu speichern.
NVIDIA sieht sich derselben Herausforderung gegenüber, jedoch auf einer viel höheren und umfassenderen Ebene: den Nationalstaaten. Die Regierungen erkennen, dass es nicht im besten Interesse ihrer Länder ist, KI in einem anderen Land zu betreiben, und arbeiten daher am Aufbau der Infrastruktur, die sie für den Verbleib ihrer Daten und ihrer KI innerhalb ihrer eigenen Grenzen benötigen. Sie können dann kontrollieren, mit welchen anderen Ländern oder Einrichtungen sie ihre Daten oder KI-Ergebnisse teilen.
Auf der GTC Paris-Konferenz hat NVIDIA heute die Bausteine für Sovereign AI bereitgestellt, um Regierungen bei ihren Bemühungen zu unterstützen. Diese Initiative passt gut zum Fokus von Cloudera, den Kunden die Implementierung ihrer eigenen privaten KI-Plattformen zu ermöglichen.
NVIDIA hat zwei weitere Ankündigungen gemacht, die für Cloudera von besonderem Interesse sind. In diesem Blog gehen wir näher auf AI-Q NVIDIA Blueprint for Enterprise Research und NVIDIA NIM sowie die Bedeutung für unsere Kunden ein.
AI-Q NVIDIA Blueprint mit Cloudera AI
Mit der Einführung von AI-Q Blueprint für die Unternehmensforschung bietet NVIDIA Cloudera AI mehr Möglichkeiten, um die komplexen Anforderungen unserer Kunden im Bereich der agentenbasierten KI zu erfüllen.
Cloudera AI Inference kann alle NVIDIA NeMo Retriever- und LLM-Inferenz-Microservices hosten, aus denen der AI-Q NVIDIA Blueprint besteht, einschließlich der NVIDIA Llama Nemotron Reasoning-Modelle. Durch die Kombination der hohen Datenschutz- und Sicherheitsstandards der Cloudera AI-Plattform für die Modell-Endpunkte mit dem leistungsstarken NVIDIA Agent Intelligence Toolkit können Sie Ihre unternehmensweiten agentenbasierten Anwendungen auf die nächste Stufe heben.
Vorteile der Nutzung des AI-Q NVIDIA Blueprints mit Cloudera AI
Die Nutzung von AI-Q NVIDIA Blueprint innerhalb des Cloudera AI Inference Service erschließt ein enormes KI-Potenzial. Diese leistungsstarke Kombination integriert führende Reasoning-Modelle, die als NVIDIA NIM- und NeMo Retriever- Microservices verfügbar sind, in Cloudera AI und gewährleistet durch vollständige Kompatibilität mit dem NVIDIA Agent Intelligence Toolkit eine nahtlose Konnektivität zwischen Agenten, Tools und Daten.
Diese Multi-Framework-Fähigkeit ermöglicht Unternehmen die Entwicklung anspruchsvoller RAG-Anwendungen (Retrieval-Augmented Generation) mit robusten Datenschutz- und Sicherheitsfunktionen, die die Vorteile modernster KI-Entwicklungen voll ausschöpfen.
NVIDIA NIM- Microservice mit Cloudera AI Inference
Der NIM-Container von NVIDIA ist eine bahnbrechende Innovation, mit der sich schnell und einfach die beste Leistung aus LLMs erzielen lässt: Er beschleunigt die Bereitstellung und Inferenz von LLMs deutlich, indem er automatisch das beste Inferenz-Backend basierend auf dem Modell und der GPU-Hardware auswählt. Damit ermöglicht er eine modellunabhängige Inferenzlösung, die die Produktionsbereitstellung zahlreicher hochmoderner LLMs optimiert.
Genauer betrachtet ermöglicht der NVIDIA NIM-Microservice Benutzern die schnelle Bereitstellung von LLMs, die durch NVIDIA TensorRT-LLM, vLLM oder SGLang beschleunigt werden, um eine erstklassige Inferenz auf jeder NVIDIA-beschleunigten Plattform zu erzielen. Er unterstützt Modelle, die im Hugging Face- oder TensorRT-LLM-Format gespeichert sind, und ermöglicht so eine unternehmensgerechte Inferenz für eine Vielzahl von LLMs. Benutzer können sich auf intelligente Standardeinstellungen für optimierte Latenz und Durchsatz verlassen oder die Leistung mit einfachen Konfigurationsoptionen optimieren. Als Teil von NVIDIA AI Enterprise erhält der NVIDIA NIM-Microservice kontinuierliche Updates von NVIDIA, wodurch die Kompatibilität mit einer Vielzahl beliebter LLMs sichergestellt wird.
Vorteile der Verwendung von NVIDIA NIM innerhalb von Cloudera AI Inference
NVIDIA NIM bietet unseren Kunden mehr Flexibilität bei der Verwendung von LLMs in ihren KI-Anwendungen. Der Cloudera AI Inference Service verfügt bereits über eine integrierte NVIDIA NIM-Funktion, sodass Kunden den NVIDIA NIM-Microservice schnell und einfach implementieren können. Kunden profitieren von den Vorteilen von NVIDIA NIM und genießen gleichzeitig die Benutzerfreundlichkeit, Sicherheit und den optimierten Support einer einzigen, einheitlichen Plattform: Cloudera.
Durch die nahtlose Integration in unseren AI Inference-Service bietet der NVIDIA NIM-Microservice erhebliche Vorteile für Cloudera AI-Kunden, einschließlich:
Beschleunigte Bereitstellung: Mit vorgefertigten, optimierten Containern können Sie Ihre LLM-Anwendungen schneller in Betrieb nehmen.
Verbesserte Leistung: Nutzen Sie das volle Potenzial des beschleunigten Computing von NVIDIA für Hochgeschwindigkeitsinferenz und reduzierte Latenz.
Skalierbarkeit: Skalieren Sie Ihre LLM-Implementierungen mühelos, um den Anforderungen Ihres wachsenden Unternehmens gerecht zu werden.
Vereinfachte Verwaltung: Verwalten und überwachen Sie Ihre LLM-Bereitstellungen mit der intuitiven Benutzeroberfläche von Cloudera.
Fazit
Gemeinsam ermöglichen Cloudera und NVIDIA Unternehmen die einfache, effiziente und kostengünstige Nutzung der neuesten Fortschritte im Bereich KI für alle ihre Daten, egal ob öffentlich oder privat. Durch die Vereinfachung des Lebenszyklus von KI-Anwendungen, von der Entwicklung bis zur Bereitstellung, und durch die Optimierung der Leistung unterstützen wir unsere Benutzer dabei, das volle Potenzial der KI auszuschöpfen.
Lesen Sie unbedingt den Blog von NVIDIA zu den Ankündigungen auf der GTC Paris und die Blogs von Cloudera zum Thema KI, insbesondere den neuesten Beitrag über „AI in a Box” von Dell, NVIDIA und und Cloudera, das Kunden eine neue Möglichkeit bietet, private KI schnell, einfach und mit minimalem Risiko zu implementieren.