02.10.2023 Babenhausen - Push von Informatica: ETL- und ELT-Jobs einfach beschleunigen oder neu gestalten!
Eine Möglichkeit zur Optimierung Ihrer Informatica ETL-Jobs besteht darin, sie zu beschleunigen oder neu zu gestalten. Bei der Verarbeitung großer Datenmengen in PowerCenter können verschiedene Herausforderungen auftreten, die zu Verzögerungen führen können. Dies kann insbesondere bei Operationen wie Sortieren, Verknüpfen, Aggregieren und Laden von Daten auftreten. Eine erste Option zur Optimierung ist die sogenannte "Pushdown-Optimierung", bei der die Verarbeitungslast auf eine bereits beanspruchte Datenbank oder eine teure und komplexe Plattform verschoben wird.
Ein weiteres dringendes Anliegen besteht darin, die Sicherheit sensibler Produktionsdaten sicherzustellen, die durch Informatica Data Warehouse, Data Mart oder Testbetrieb übertragen werden. Dies erfordert möglicherweise rollenbasierte Datensicherungen oder die Generierung großer Mengen realistischer Testdaten ohne vertrauliche Informationen für Prototypenanwendungen.
Pushdown-Optimierung kann durch die Integration von CoSort in Ihre PowerCenter- oder PowerMart-Prozesse erreicht werden. Ein Beispiel der NYSE American (früher American Stock Exchange) zeigt, dass diese Methode die Transformationsleistung erheblich steigern kann, wobei Sortierzeiten dramatisch reduziert werden, ohne die Datenbank zu überlasten.
Für Operationen wie Sortieren, Verknüpfen, Aggregieren und Laden von Daten im Dateisystem kann dies wesentlich schneller erfolgen. Sie können auch Datei- und Datentypen konvertieren, personenbezogene Informationen (PII) maskieren und benutzerdefinierte Berichte erstellen, alles in einem einzigen Job-Skript und mit I/O-Pass.
Kostengünstige Datenmaskierung: IRI FieldShield bietet eine Alternative zur von Informatica erworbenen dynamischen Datenmaskierungs-Software. Es bietet verschiedene Methoden zum Schutz von Feldern in strukturierten Datensätzen und verwendet einfache, portable Jobskripte, die von der Eclipse™-Plattform unterstützt werden. Die Auswahl der Funktion für jede Spalte erfolgt basierend auf Ihren Geschäftsregeln und kann AES-256, Open SSL- und GPG-Verschlüsselung, Lookup-Wert-Substitution, Zeichenmaskierung und benutzerdefinierte Ausdruckslogik umfassen.
Testdaten zur Prototypenerstellung: IRI RowGen steht zur Verfügung, um Testdaten schnell und kostengünstig zu generieren. RowGen ermöglicht die Erstellung realistischer und referenziell korrekter Testdaten, die zur Befüllung von Zieltabellen, Data Marts, Data Vault-Modellen, EDWs, Flat-Files und Produktionsberichten verwendet werden können, während Ihre Datenbankdatenmodelldateien und Informatica-Metadaten genutzt werden.
Re-Hosting: Schließlich können ETL-Aufträge in Informatica mithilfe der Erwin (früher AnalytiX DS) Code-Automation Frameworks (CATfx) Technologie in IRI Voracity automatisch konvertiert werden. Beide Plattformen nutzen Erwin Mapping Manager, was die nahtlose Projektverschiebung zwischen den beiden ermöglicht. Voracity wird als erheblich schneller und kostengünstiger im Vergleich zu Informatica PowerCenter beschrieben, was einen Wechsel erleichtert.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.