Генератор трансформаций данных Датсис версия 2.0

Программа для ЭВМ «Генератор трансформаций данных Датсис версия 2.0» является программным продуктом класса ETL. Программа предназначена для автоматического формирования (генерации) исполняемых файлов для управления потоками преобразования данных в части подключения к источникам данных, извлечения информации из них, ее трансформации и загрузки в системы - получатели данных (хранилища данных, базы данных и так далее). Генерируемые файлы могут быть использованы пользователем как для запуска в ручном режиме, так и размещены в системах оркестрации потоков обработки данных, таких как Airflow.

Ключевые функциональные возможности:
1. генерация и управление кодом загрузки / выгрузки данных
2. подключение к источникам данных в виде

• текстовых файлов, расположенных на локальном компьютере пользователя, в сетевых корпоративных ресурсах, в Интернет
• баз данных PostgreSQL

3. извлечение данных из файлов и баз данных PostgreSQL
4. преобразование данных, извлеченных из файлов и баз данных PostgreSQL, в табличный формат, исходя из настроечных параметров
5. сохранение извлеченных данных в указанные структуры
6. автоматическая генерация отчуждаемого кода для исполнения ad-hock в ручном режиме
7. функциональность управляемого запуска по условию и расписанию в системах оркестрации потоков обработки данных, таких как Airflow
8. ведение историчности изменения настроечных параметров, включая изменение источников, правил трансформации данных, расписания исполнения кода в системах оркестрации, с возможностью вернуться к предыдущим версиям

Документы для скачивания