10.05.2024 Babenhausen - Gezielte Datenübertragung und Datenreplikation: Change Data Caputre (kurz CDC) leitet Rohdaten von Produktivsystemen zu Analyseanwendungen um, um diese zu entlasten und Echtzeitdaten bereitzustellen. Dabei werden ETL-Prozesse und Metadaten verwendet, um Daten zu filtern, zu transformieren und zu laden, sowie automatisierte Abläufe sicherzustellen.
CDC bietet verschiedene Erfassungs- und Bereitstellungsmethoden, um die Zuverlässigkeit von Datenpipelines zu gewährleisten. Es erfasst Änderungen an Produktiv- und Metadaten, einschließlich Inserts, Deletes und Updates, sowie DDL-Änderungen. Die Zielsysteme reichen von Datenbanken bis hin zu Public-Cloud-Zielen, Data Warehouses, Data Lakes und Microservices.
Dieses Jahr wurde die innovative Funktion "IRI Ripcurrent" in die Datenmanagementplattform IRI Voracity eingeführt, um in Echtzeit Änderungen in der Struktur und dem Inhalt von Datenbankspalten zu verwalten.
IRI Ripcurrent erkennt automatisch neue, aktualisierte oder gelöschte Zeilen sowie Änderungen an der Struktur einer Tabelle oder eines Schemas. Es reagiert darauf auf verschiedene Arten:
- Datenreplikation: Aktualisierung von Testzielen innerhalb derselben oder einer anderen Datenbank.
- Inkrementelle Datenmaskierung: Verwendung konsistenter Funktionen basierend auf Datenklassen.
- Delta-Reporting: Vergleich und Analyse neuer Daten mit früheren Versionen.
- Benachrichtigungen: Meldung struktureller Änderungen des Schemas, um neue Suchaufträge auszulösen, usw.
Ripcurrent kann nahtlos mit Debezium integriert werden, um Änderungen von verschiedenen Datenbanken zu verfolgen. Es unterstützt Debezium-Konnektoren für MySQL, SQL Server, PostgreSQL und Oracle, und mit geringfügigen Anpassungen werden auch MongoDB, DB2 und Vitess unterstützt.
Weitere Informationen über Ripcurrent und die Funktionsweise dieser automatischen Prozesse finden Sie in einer Reihe von Blogartikeln, die mit diesem Artikel beginnen.
International bekannte Kunden seit 1978: Die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram und viele mehr setzen seit über 40 Jahren auf unsere Software für Big Data Wrangling und Datenschutz. Eine umfassende Liste unserer weltweiten Referenzen finden Sie hier, und speziell deutsche Referenzen finden Sie hier.
Partnerschaft mit IRI seit 1993: Durch die langjährige Zusammenarbeit mit Innovative Routines International Inc. aus Florida USA haben wir unser Produktportfolio um erstklassige Produkte wie IRI CoSort, IRI Voracity, IRI DarkShield, IRI FieldShield, IRI RowGen, IRI NextForm, IRI FACT und IRI CellShield erweitert. Die exklusiven Vertriebsrechte für diese Produkte in Deutschland liegen ausschließlich bei der JET-Software GmbH. Weitere Informationen zu unserem Partnerunternehmen IRI Inc. finden Sie hier.