27.09.2023 Babenhausen - Big Data Management seit 40 Jahren: In früheren Artikeln in unserem Blog-Bereich für Business Intelligence haben wir bereits beschrieben, wie die Verarbeitung von Daten mithilfe unseres Produkts IRI CoSort und der Datenverwaltungsplattform IRI Voracity die Zeitspanne bis zur Datenvisualisierung und somit zu nutzbaren Erkenntnissen in BI-Tools erheblich verkürzen kann. Dieser Artikel hebt die Vorteile des Data Wranglings hervor, die Voracity in der Cubeware-Plattform für Analysen bietet!
Voracity zeichnet sich durch seine Schnelligkeit im Umgang mit Daten und sein breites Spektrum an Datenmanipulations- und Datenschutzfunktionen aus. Es fehlt jedoch ein integriertes Visualisierungs- und Dashboard-Tool. Hier kommt Cubeware Cockpit ins Spiel. Voracity steigert den Wert des Importprozesses für Cubeware-Anwender durch schnelle, konsolidierte Datenverarbeitung, Bereinigung und Maskierung.
Cubeware Cockpit: Cubeware, ein innovativer BI-Software-Hersteller mit Sitz in Rosenheim, Deutschland, bietet Lösungen für Datenmanagement, Visualisierung, Analyse und Planung. Eines seiner Produkte, Cockpit, ist ein Dashboard-Designer für den CSP C8. Cockpit ermöglicht die Erstellung von Berichten für Windows, das Web, mobile Plattformen und Snack (Cubeware's agiles Instant Reporting Tool). Es kann auch Daten aus relationalen und multidimensionalen Datenbanken integrieren.
Zusätzlich bietet Cubeware mit dem Importer ein grafisches ETL-Tool zur Konsolidierung von Daten aus verschiedenen Quellen mit umfassenden Transformationsprozessen, das viele Funktionen mit Voracity teilt.
Warum benötigen Sie Voracity? Für eine schnellere Vorbereitung großer Dateien mit zusätzlichen Datenqualitätsmerkmalen und datenzentrischen Sicherheitsfunktionen (wie PII-Klassifizierung, Discovery und Maskierung) zur Einhaltung der GDPR-Vorschriften.
Voracity verwendet zuerst die SortCL-Engine, um Daten schneller zu integrieren und zu verarbeiten als der Cubeware Importer und die meisten anderen ETL-Tools auf dem Markt. SortCL ist ein leistungsstarkes, anpassbares Datenverarbeitungsprogramm für strukturierte und semistrukturierte Datenquellen, das Speicher, Threads und E/A optimiert. Es kann auf Windows- und Linux/Unix-Befehlszeilen lokal oder in der Cloud ausgeführt werden.
SortCL-Jobs werden in einfachen 4GL-Job-Skripten definiert, die auch in einer benutzerfreundlichen grafischen IDE namens IRI Workbench, basierend auf Eclipse™, erstellt und verwaltet werden können. SortCL-Programme sind nicht nur leicht verständlich, sondern bieten auch eine Vielzahl von Datenmanipulations-, Mapping-, Munging-, Maskierungs- und Mining-Funktionen für zahlreiche Anwendungsfälle im Bereich Datenverarbeitung, Datenschutz, Prototyping und Präsentation.
Die Datenvalidierungsfunktionen können die Datenqualität verbessern, indem sie beispielsweise Bedingungen zum Testen auf leere Werte, Groß- und Kleinschreibung, alphabetische und numerische Werte, druckbare Werte und vieles mehr erstellen. Sie können auch Datensätze filtern, die bestimmte Bedingungen, Bereiche oder Mengenschwellen erfüllen. SortCL unterstützt GDPR-Konformität durch Daten-"Schilde", die PII-Daten durch Löschung, Verschlüsselung, Schwärzung, Pseudonymisierung usw. schützen.
Vor allem können alle oben genannten Aktivitäten, die mit ETL, Datenqualität und Maskierung zu tun haben, gleichzeitig in einem SortCL-Skript und E/A-Durchlauf durchgeführt werden, was die Entwicklungs- und Ausführungszeit erheblich verkürzt. SortCL kann auch benutzerdefinierte 2D-Detail- und Zusammenfassungsberichte erstellen, um einen schnellen Überblick über die Daten zu bieten und sicherzustellen, dass alles korrekt ist, bevor Cockpit die Daten für die schnelle Anzeige übernimmt.
Zusammenfassung: Der größte Vorteil von Voracity liegt in der schnellen und zuverlässigen Verarbeitung von Flat-Files. Wenn es in der Lage ist, einen großen Prozentsatz von Datensätzen aus sehr umfangreichen Dateien herauszufiltern, kann sein SortCL-Programm einen schnellen Datentransfer von Dateien zur Datenbank ermöglichen. Datentransformation, Validierung, Bereinigung, Maskierung und Neuformatierung können alle in einem SortCL-Skript und E/A-Durchlauf kombiniert werden.
Im Allgemeinen würden SortCL-Skripte, die Daten von Dateien in die Datenbank schreiben, bei großen Datensätzen zu langsameren Ergebnissen führen als Cubeware. SortCL kann jedoch die Eingabe von Flat-Files schneller verarbeiten und sie dann auf wesentlich kleinere Datensatzmengen filtern, die für die Datenbank bestimmt sind.
Beim Lesen aus einer Datenbank und beim Schreiben in eine Flat-Datei kann die SortCL-Engine einige Geschwindigkeitsvorteile bieten. Ein von Cubeware durchgeführter Benchmark ergab beispielsweise, dass ähnliche Filterungen und Transformationen, die SortCL in 2 Minuten und 11 Sekunden durchführte, bei Cubeware 5 Minuten und 32 Sekunden in Anspruch nahmen. Der Benchmark verwendete Microsoft SQL Server als Datenquelle und erzeugte eine durch Semikolon getrennte Textdatei als Ausgabe.
Fazit: Wenn Sie über IRI Voracity und Cubeware Cockpit verfügen, haben Sie eine kostengünstige, technisch erstklassige Lösung für Datenintegration, Governance und visuelle Analysen!
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.