O projekcie
Dla naszego klienta z branży energetycznej poszukujemy doświadczonego Data Engineera, który będzie odpowiedzialny za wsparcie zespołu projektowego oraz utrzymaniowego w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse (GCP).
Nasze oczekiwania
- Znajomość Google Cloud Platform: kluczowych usług Data & Analytics
- Znajomość BigQuery: wykorzystanie do przechowywania, przetwarzania i analizy danych (Bronze, Silver, Gold layers), w tym tabele zewnętrzne, partycjonowanie, klastrowanie, optymalizacja zapytań.
- Znajomość Pythona, w tym bibliotek do przetwarzania danych (Pandas).
- Znajomość SQL, MySQL, PostgreSQL, MS SQL Server
- Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania.
- Projektowanie, implementacja i optymalizacja potoków ETL/ELT (zarówno batch, jak i streaming) w Pythonie.
- Tworzenie i zarządzanie DAGami do orkiestracji złożonych przepływów danych, monitorowanie zadań.
- Zrozumienie mechanizmów CDC (Change Data Capture) i replikacji danych (z MySQL do BigQuery).
- Znajomość zarządzania metadanymi, katalogowania danych, Data Quality (DQ) i Data Lineage.
- Zrozumienie zasad zarządzania jakością danych, bezpieczeństwa danych, prywatności i zgodności (RODO).
- Praca z systemami kolejkowania komunikatów do integracji strumieniowej.
- Doświadczenie w tworzeniu, testowaniu i zarządzaniu transformacjami danych w SQL w BigQuery.
- Doświadczenie w implementacji i utrzymaniu architektury medalionowej.
- Znajomość systemów kontroli wersji Git (strategie branchingu, Pull Requests).
- Zrozumienie procesów Continuous Integration i Continuous Deployment (np. z użyciem Cloud Build).
- Swobodna komunikacja w Językach polskim i angielski (min. poziom B2)
- Gotowść do okazjonalnej pracy z biura klienta w Warszawie (1-2 razy w miesiącu)