06.09.2023 Babenhausen - Big Data Management seit 40 Jahren: Es gibt bestimmte Herausforderungen, die mit großen Datenmengen verbunden sind, wie bspw. das Sortieren, Verbinden, Aggregieren, Laden und Entladen von Daten. Die parallele Verarbeitung oder Optimierung in anderen Bereichen oder Tools kann umständlich sein und möglicherweise hohe Kosten verursachen. Zudem kann dies die Leistung für andere Benutzer beeinträchtigen.
Im Hinblick auf die Sicherheit werden Funktionen für das Erkennen, Klassifizieren oder Maskieren von Daten oder das Testen von Datenfunktionen, die Datenverwalter und Anwendungsentwickler benötigen dringend benötigt.
Auch spezifische Leistungsdiagnosen und -abstimmungen brauchen Zeit und können andere Benutzer betreffen. Schließlich können gespeicherte SQL-Prozeduren auch ineffizient programmiert werden, müssen optimiert werden und dauern dann immer noch zu lange. Einfache und kostengünstige IRI-Software löst diese Probleme. Für spezielle Anforderungen stehen auch Dienstleistungen zur Verfügung:
- Datenermittlung: Profilerstellung, Klassifizierung, ERDs
- Be- und Entladen großer Tabellen
- Entladen und Laden großer Tabellen
- Routinemäßige Dienstprogrammoperationen (Reorgs)
- Langsame Abfragen, SSIS ETL-Aufträge oder Power BI-Anzeigen
- Datenmigration oder -replikation
- Schlechte Datenqualität oder Einheitlichkeit
- Maskieren von PII in Tabellen statisch oder in Anwendungen wie MS Dynamics dynamisch
- Generierung intelligenter, sicherer Testdaten für Prototyping, DevOps, Demos usw.
Unload-Beschleunigung: IRI FACT (Fast Extract) zur Beschleunigung der SQL Server-Entladung. Verwenden Sie die SQL-Syntax in FACT's CLI oder GUI, um große Tabellen schnell in Flat-Files zu übertragen.
Geben Sie SELECT * FROM aus der Tabelle an, damit Sie das Entladen nicht mit Qualifier wie "distinct", "order by", oder "group by" belasten. Sobald sich die Daten in Flat-Files befinden, verwenden Sie das Programm SortCL in IRI CoSort, um die Extrakte viel schneller zu dekupieren, zu sortieren, zu verbinden, zu gruppieren (und zu berichten).... parallel, außerhalb der Datenbank.
Nutzen Sie die IRI Voracity-Plattform, um FACT, CoSort und Ihr Load Utility oder Downstream-Anwendungen in schnellen, kostengünstigen, visuellen ETL-Operationen in Eclipse zu kombinieren.
Load-Beschleunigung: IRI CoSort zur Vorsortierung von Flat-Files für Bulk-Bcp-Importe.
Microsoft empfiehlt, dass fast jede SQL Server-Tabelle einen geclusterten Index haben sollte. Erstellen Sie zuerst den geclusterten Index und sortieren Sie die Eingabedateien (auf dem primären Indexschlüssel) vor, um den Schritt Index erstellen zu verkürzen. Verwenden Sie die Option "SORTED_DATA" beim Erstellen von Indizes, um zu zeigen, dass CoSort die langsamere Sortierung in bcp umgangen hat.
Reorgs- und Abfragebeschleunigung: Der Offline Reorg-Assistent in der IRI Workbench, um die Kombination der folgenden Funktionen zu kombinieren und zu automatisieren: Schnelles Extrahieren, Sortieren und Zurückladen von klassischen (Offline-)SQL Server-Reorgs. Dies hilft Ihnen, Ihre Tabellen in der optimalen Reihenfolge der Abfragen zu pflegen.
Optimierung von Transformationen (ETL) und BI-Datenaufbereitung: IRI CoSort um die Datenbank von Verarbeitungsaufwand zu entlasten. Nutzen Sie die Vorteile von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft und Konsolidierung des CoSort SortCL-Programms: Anwendungsfall
Wenn Sie eine schnellere Alternative zu SSIS oder einem anderen ETL-Tool benötigen, nutzen Sie IRI Voracity, eine Gesamtdatenmanagement-Plattform auf Basis von CoSort (oder Hadoop) und Frontend in Eclipse für den Zugriff auf (und die Integration und Verwaltung von) mehreren Datenquellen.
Migration und Replikation von SQL Server Datenbanken: IRI NextForm Datenbank-Edition zum Erfassen, Neuzuordnen, Neu-Formatieren und Erstellen/Befüllen neuer Tabellen während der Migration zu und von SQL Server. Sie können auch IRI NextForm oder das Programm SortCL in IRI CoSort oder Voracity verwenden, um Daten in SQL Sever neu zuzuordnen und zu konvertieren, benutzerdefinierte Berichte, Replikate und föderierte Ansichten von Daten zu erstellen.
Daten bereinigen und anreichern (Qualität): CoSort oder Voracity um Fehler in Datenwerten, Bereichen, Formaten oder Kontexten zu finden und zu beheben. Scrubben und standardisieren Sie doppelte oder fuzzy-angepasste Werte. Weitere Möglichkeiten zur Datenqualität finden Sie hier.
Klassifizieren und Maskieren von sensiblen Daten: IRI FieldShield (oder IRI Voracity) um sensible Daten in SQL Server zu finden, zu klassifizieren und unterschiedlich zu maskieren, wie beispielsweise personenbezogene Daten (PII) oder geschützte Gesundheitsinformationen (PHI). FieldShield wendet Maskierung, Verschlüsselung und andere Identifizierungsfunktionen auf eine oder mehrere Spalten und Tabellen gleichzeitig an. Verwenden Sie FieldShield, um die Datenschutzgesetze wie HIPAA, PCI DSS, FERPA und die EC GDPR einzuhalten.
SQL Server Testdaten generieren: IRI RowGen (oder Voracity) um SQL Server- oder SSIS ETL-Operationen schnell mit sicheren Testdaten zu füllen. RowGen verwendet Ihre Datenmodelle, um die Testdaten für eine gesamte Datenbank mit referentieller Integrität automatisch zu generieren. Ein Subsetting-Assistent (mit Maskierungsoptionen) ist ein weiterer integrierter Ansatz.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.