Confluent führt neue Funktionen für Confluent Cloud ein, um Stream Processing und Daten-Streaming zugänglicher und sicherer zu machen. Der neue Support von Confluent für Table API stellt Apache Flink® für Java- und Python-Entwickler bereit; Confluent Private Networking für Flink bietet Schutz auf Enterprise-Level für sensible Daten; Confluent Extension for Visual Studio Code beschleunigt die Entwicklung von Echtzeit-Anwendungsfällen; und Client-Side-Verschlüsselung auf Field Level verschlüsselt sensible Daten für mehr Sicherheit und Datenschutz.

„Die wahre Stärke von Apache Flink für Stream Processing besteht darin, dass Entwickler Anwendungen erstellen können, die Echtzeitdaten sofort analysieren und darauf reagieren. Das verbessert die Reaktionsfähigkeit und das Benutzererlebnis erheblich“, sagt Stewart Bond, Research Vice President bei IDC. „Verwaltete Apache-Flink-Lösungen können die Komplexität der Infrastrukturverwaltung eliminieren und gleichzeitig Zeit und Ressourcen sparen. Unternehmen benötigen eine Flink-Lösung, die sich nahtlos in die Tools, Programmiersprachen und Datenformate integrieren lässt, die sie bereits verwenden. Das erleichtert die Implementierung in die Arbeitsabläufe des Unternehmens.”

Immer mehr Unternehmen setzen auf Stream Processing, um Echtzeitanwendungen und Pipelines für verschiedene Anwendungsfälle wie maschinelles Lernen, Predictive Maintenance, personalisierte Empfehlungen und Betrugserkennung zu erstellen. Mit Stream Processing können Unternehmen ihre Daten mit Informationen aus ihrem gesamten Unternehmen mischen und anreichern. Apache Flink ist der De-facto-Standard für Stream Processing. Viele Teams stoßen bei Flink jedoch auf Hindernisse, da es betrieblich komplex, schwer abzusichern und mit teuren Infrastruktur- und Verwaltungskosten verbunden ist.

„Tausende von Teams auf der ganzen Welt nutzen Apache Flink als ihre zuverlässige Stream-Processing-Lösung. Um außergewöhnliche Kundenerlebnisse zu liefern und Abläufe zu optimieren, verlagern sie die Verarbeitung näher an die Quelle. Dort sind die Daten frisch und sauber“, sagt Shaun Clowes, Chief Product Officer bei Confluent. „Unsere neuen Innovationen verschieben die Grenzen weiter und machen es Entwicklern aller Qualifikationsstufen leichter, diese leistungsstarke Technologie für noch mehr geschäftskritische und komplexe Anwendungsfälle zu nutzen.”

Confluent Cloud für Apache Flink beinhaltet die SQL-API, ein leistungsstarkes und benutzerfreundliches Tool für die Verarbeitung von Datenströmen. Während Flink SQL für das schnelle Schreiben und Ausführen von Abfragen geeignet ist, bevorzugen einige Teams Programmiersprachen wie Java oder Python, die eine bessere Kontrolle über ihre Anwendungen und Daten ermöglichen. Dies kann besonders wichtig sein, wenn komplexe Geschäftslogik oder benutzerdefinierte Verarbeitungsaufgaben entwickelt werden.

Durch das Einbinden des Supports für die Table API in Confluent Cloud für Apache Flink können Java- oder Python-Entwickler Streaming-Anwendungen mit vertrauten Tools erstellen. Durch die Unterstützung sowohl von Flink SQL als auch der Table API können Entwickler mit Confluent Cloud für Apache Flink die beste Sprache für ihre Anwendungsfälle wählen.

Die Flexibilität der Programmiersprache zu verbessern, indem Entwickler ihre bevorzugten Programmiersprachen verwenden und die Vorteile sprachspezifischer Funktionen und benutzerdefinierter Operationen nutzen können.
Den Codierungsprozess zu optimieren, indem Kunden die integrierte Entwicklungsumgebung (IDE) ihrer Wahl nutzen. IDE bietet Funktionen zur automatischen Vervollständigung, Refactoring-Tools und Compile-Time-Checks, um eine höhere Codequalität zu gewährleisten und Laufzeitprobleme zu minimieren.

„Wir sind dabei, unsere Finanzdienstleistungen neu zu gestalten. Dazu sind dringend neue Technologien nötig, die nicht nur unsere Kunden schützen, sondern auch problemlos von unseren Teams genutzt werden können“, sagt Shujahat Bashir, Director of Software Engineering bei Thrivent. „Daten-Streaming und Stream Processing können dazu beitragen, Betrug in Echtzeit zu erkennen und Zahlungen zu verarbeiten, um ein außergewöhnliches Kundenerlebnis zu schaffen. Wir freuen uns darauf, Confluents neue Funktionen für Apache Flink wie Private Networking, flexibles Schema-Management und Tabellen-APIs zu nutzen, um die Leistungsfähigkeit von Flink auf die Sprachen und Entwicklungsstile auszuweiten, die wir bereits heute verwenden.”

In Zeiten, in denen es mehr Daten als je zuvor gibt und immer mehr Teams Cloud- und Hybridlösungen nutzen, sind private Netzwerke für den Schutz vor unbefugtem Zugriff und Cyber-Bedrohungen unerlässlich. Confluent Cloud bietet jetzt Private-Networking-Support für Flink. Eine entscheidende Sicherheitsebene für Unternehmen, die Daten innerhalb strenger gesetzlicher Rahmenbedingungen verarbeiten müssen.

• Datensicherheit und Datenschutz zwischen Flink und Kafka erhöhen, indem Daten während der Übertragung geschützt werden und sichere Verbindungen zwischen Clients und Flink innerhalb eines privaten Netzwerks gewährleistet sind.
• Die sichere Netzwerkkonfiguration vereinfachen, indem private Verbindungen eingerichtet werden, ohne dass umfangreiche Netzwerkkenntnisse erforderlich sind.
• Flexibles und sicheres Stream Processing erleichtern, indem Daten über verschiedene Kafka-Cluster hinweg nahtlos zusammengeführt und verarbeitet werden. Dabei wird die Zugänglichkeit der Daten unter Einhaltung strenger Sicherheitsprotokolle gewährleistet.

Die Unterstützung privater Netzwerke ist auf AWS für Enterprise- und Dedicated-Cluster allgemein verfügbar. Weitere Cloud-Plattformen sind in Kürze verfügbar.

Teams, die mit Echtzeitdaten-Plattformen wie Open Source Apache Kafka arbeiten, haben oft mit fragmentierten Tools, umständlichen Arbeitsabläufen und dem ständigen Wechsel zwischen Umgebungen und anderen Schnittstellen zu kämpfen. Diese uneinheitliche Erfahrung erschwert die Integration von Echtzeitdaten in Anwendungen und verlangsamt Produktivität und Innovation.

Integrierte Entwicklungsumgebungen können diesen Prozess erheblich vereinfachen. 54 % der Entwickler weltweit verwenden Visual Studio Code (VS Code), die beliebteste Wahl für die Codebearbeitung. Die Confluent Erweiterung für Visual Studio Code vereinfacht den Entwicklungsprozess durch die direkte Integration von Confluent in die bevorzugte integrierte Entwicklungsumgebung von Teams.

Die Confluent-Erweiterung für Visual Studio Code ermöglicht es Teams:

• Die Topics-Verwaltung zu rationalisieren, um Kafka-Topics mit intuitiven Tools, die das Debugging vereinfachen und die Effizienz steigern, einfach zu erstellen, zu bearbeiten und zu durchsuchen.
• An einem Ort zu codieren und debuggen, indem Kafka-Clients, Flink-Abfragen und Streaming-Anwendungen mit erweiterten Produktivitätsfunktionen wie Codevervollständigung direkt in VS Code geschrieben, ausgeführt und debuggt werden.
• Cloud-Ressourcen nahtlos zu verwalten, um Confluent Cloud Cluster innerhalb von VS Code bereitzustellen und zu steuern, was die Komplexität reduziert und den Cloud-Betrieb rationalisiert.

Die Confluent-Erweiterung für Visual Studio Code unterstützt Kafka-Clients und ist im Early Access verfügbar. Neue Flink-Funktionen und allgemeine Verfügbarkeit werden später im Jahr 2024 verfügbar sein.

Datensicherheit und Datenschutz haben für Unternehmen in regulierten Branchen wie Finanzdienstleistungen, Gesundheitswesen und dem öffentlichen Sektor höchste Priorität. Diese Organisationen unterliegen Compliance-Vorschriften, die bestimmen, wie auf sensible Daten wie persönlich identifizierbare Informationen (PII) zugegriffen werden kann und wie sie verschoben und gespeichert werden können.

Die Teams können mit Client-Side-Verschlüsselung auf Field-Level ihre sensibelsten Daten schützen. Sie können einzelne Felder innerhalb ihrer Datenströme verschlüsseln, was die Sicherheit und Compliance erhöht. Zusätzlich zu den bestehenden Sicherheitsfunktionen von Confluent reduziert die Client-Side-Verschlüsselung auf Field-Level das Risiko eines unerwünschten Zugriffs weiter, indem sie Daten auf Seite des Clients verschlüsselt. Das bedeutet, dass selbst Systemadministratoren und User mit hohen Zugriffsrechten die Nachrichten nicht im Klartext einsehen können.

Mit Client-Side-Verschlüsselung auf Field-Level können Teams:

• Die Sicherheit sensibler Daten verbessern und strenge Compliance-Anforderungen einhalten.
• Flexible und granulare Zugriffskontrolle darüber erhalten, welche spezifischen Felder verschlüsselt werden sollen.
• Gesamtbetriebskosten und betriebliche Komplexität reduzieren, da weniger Topics doppelt bearbeitet werden müssen.

Die Client-Side-Verschlüsselung auf Field-Level ist derzeit in begrenztem Umfang verfügbar und wird voraussichtlich in Kürze für alle Confluent Cloud-Benutzer über die Stream Governance Suite des Unternehmens allgemein verfügbar sein.