SQLBI05 — Tworzenie rozwiązań ETL w Integration Services

Zaawansowane szkolenie z tworzenia pakietów ETL w SQL Server Integration Services. Uczestnicy zaprojektują skalowalne procesy ładowania danych, obsługę błędów, logging i wdrożenie pakietów na środowisku produkcyjnym. Program obejmuje pełen cykl życia rozwiązania ETL, od projektu przepływu danych, przez transformacje i obsługę wyjątków, do wdrożenia i zabezpieczenia pakietów w środowisku produkcyjnym.

Program szkolenia

9 modułów

Wprowadzenie do MS SQL Server Integration Services

Architektura SSIS i jej rola w platformie danych. Przegląd środowiska SQL Server Data Tools (SSDT). Komponenty pakietu: Control Flow, Data Flow, Event Handlers, Package Explorer. Model wykonania pakietów i silnik runtime SSIS.

Tworzenie rozwiązań SSIS

Budowanie projektów i rozwiązań SSIS w Visual Studio/SSDT. Zmienne pakietowe i ich zasięg (scope), parametry projektu i pakietu. Wykonywanie i debugowanie pakietów lokalnie oraz na serwerze. Organizacja rozwiązań wieloetapowych.

Definiowanie Control Flow w pakietach SSIS

Zadania Control Flow: Execute SQL, Execute Package, Script Task, File System Task. Precedence constraints i warunki logiczne kontynuacji przepływu. Kontenery: Sequence, For Loop, Foreach Loop, iteracja po plikach, tabelach i kolekcjach obiektów.

Definiowanie Data Flow

Źródła i miejsca docelowe danych: pliki płaskie, bazy relacyjne, Excel, OLE DB. Transformacje proste: Derived Column, Lookup, Sort, Aggregate. Transformacje zaawansowane: Slowly Changing Dimension, Fuzzy Lookup, Pivot/Unpivot, Merge Join. Ścieżki przepływu danych i podgląd danych (Data Viewers).

Monitorowanie wykonania pakietów SSIS

Możliwości monitorowania w SSIS Catalog i SQL Server Management Studio. Konfiguracja poziomów logowania (logging levels) i raportów wykonania. Integration Services Dashboards, analiza czasów wykonania i wąskich gardeł w pakietach.

Śledzenie i obsługa błędów

Debugowanie pakietów: breakpointy, Data Viewers, okno Locals. Implementacja obsługi błędów: Event Handlers (OnError, OnWarning), przekierowanie wierszy błędnych (Error Output) w komponentach Data Flow. Strategie retry i powiadomień o awariach.

Definiowanie transakcji i punktów kontrolnych

Implementacja Checkpoints, odtwarzanie pakietów od miejsca przerwania po awarii. Implementacja transakcji: TransactionOption, izolacja i propagacja transakcji między zadaniami Control Flow. Zapewnienie spójności danych przy przetwarzaniu wsadowym.

Konfiguracja i wdrażanie pakietów

Konfiguracja pakietów: parametryzacja, Project Connection Managers, Environment Variables w SSIS Catalog. Wdrażanie pakietów metodą Project Deployment Model, publikacja do Integration Services Catalog, konfiguracja środowisk (dev/test/prod).

Zarządzanie i zabezpieczanie pakietów SSIS

Zarządzanie pakietami w SSIS Catalog: wersjonowanie, harmonogramowanie wykonań przez SQL Server Agent. Bezpieczeństwo pakietów: role katalogowe, szyfrowanie connection stringów, zarządzanie uprawnieniami na poziomie folderu i projektu.

Tworzenie rozwiązań ETL w Integration Services SQLBI05

Program szkolenia

Porozmawiajmy o Twoim środowisku