Red Hat, Anbieter von Open-Source-Lösungen, hat eine definitive Vereinbarung zur Übernahme von Neural Magic unterzeichnet, einem Pionier auf dem Gebiet von Software und Algorithmen, die Inferenz-Workloads für generative KI beschleunigen. Die Expertise von Neural Magic im Bereich Inferenz-Performance-Engineering und das Engagement des Unternehmens für Open Source passen zur Vision von Red Hat, hochleistungsfähige KI-Workloads in der Hybrid Cloud bereitzustellen.

KI der nächsten Generation dominiert einen Großteil der heutigen Techniklandschaft, wobei die genutzten Large Language Models (LLMs) immer komplexer werden. Daher erfordert der Aufbau kosteneffizienter und zuverlässiger LLM-Services erhebliche Rechenleistungen und Energieressourcen. Durch diese Herausforderungen ist eine maßgeschneiderte, einsatzbereite und sichere KI für die meisten Unternehmen unerreichbar.

Red Hat greift diese Herausforderungen auf, indem das Unternehmen generative KI durch die offene Innovation von vLLM für mehr Anwender zugänglich macht. vLLM ist ein Community-gesteuertes Open-Source-Projekt für Open Model Serving mit Unterstützung aller wichtigen Modellfamilien und mit diversen Hardware-Backends. Die führende Rolle von Neural Magic im vLLM-Projekt in Kombination mit dem breiten Portfolio an Hybrid-Cloud-KI-Techniken von Red Hat bietet Unternehmen einen offenen Weg zur Umsetzung von KI-Strategien, die ihren individuellen Anforderungen gerecht werden.

Mithilfe der Technologie und der Expertise von Neural Magic im Bereich Performance-Engineering möchte Red Hat die Zukunft der Künstlichen Intelligenz mitgestalten, gestützt durch das KI-Technikportfolio von Red Hat, das Red Hat Enterprise Linux AI (RHEL AI), Red Hat OpenShift AI und InstructLab umfasst.

Neural Magic erstellt – basierend auf seiner Expertise und seinem Wissen im Bereich vLLM – einen Inferenz-Stack, der es Nutzern ermöglicht, LLM-Workloads in Hybrid-Cloud-Umgebungen zu optimieren, bereitzustellen und zu skalieren. Dabei behalten sie die volle Kontrolle über die Auswahl der Infrastruktur, die Sicherheitsrichtlinien und den Modell-Lebenszyklus.

Die technologische Führungsrolle von Neural Magic im Bereich vLLM wird die Fähigkeit des Technologieportfolios Red Hat AI verbessern, LLM-Bereitstellungen überall in der Hybrid Cloud mit einem vorgefertigten, hochoptimierten und offenen Inferenz-Stack zu unterstützen.