Senior Data Engineer

O pracodawcy

Poszukujemy doświadczonego Senior Data Engineera, który dołączy do zespołu realizującego długoterminowy projekt dla globalnego lidera branży motoryzacyjnej. Projekt koncentruje się na wsparciu rozwoju autonomicznych pojazdów (Autonomous Vehicles – AV), w szczególności w obszarze danych symulacyjnych wykorzystywanych do walidacji systemów bezpieczeństwa.

Projekt obejmuje pracę z danymi pochodzącymi z rzeczywistych testów floty autonomicznych pojazdów, wyposażonych m.in. w kamery (8–12), LiDAR oraz radar, generujących do ok. 1 TB danych na godzinę. Dane te są wykorzystywane do symulacji scenariuszy takich jak wykrywanie przeszkód, planowanie trasy czy obsługa złożonych sytuacji drogowych (np. nietypowe pojazdy, znaki drogowe w tunelach, przerwy w łączności).

Zespół odpowiada za kompleksowe pipeline’y przetwarzania danych – od surowych danych z sensorów po zestawy danych gotowe do wykorzystania w symulacjach oraz procesach trenowania modeli ML. Praca odbywa się w ścisłej współpracy z inżynierami i badaczami rozwijającymi systemy krytyczne dla bezpieczeństwa autonomicznych pojazdów.

Zakres obowiązków

• Analiza dużych wolumenów danych sensorycznych z rzeczywistego środowiska w celu identyfikacji tzw. edge cases (np. gwałtowne hamowania, bliskość innych pojazdów).
• Tworzenie zaawansowanych zapytań i procesów przetwarzania danych z wykorzystaniem SQL, Python oraz Spark / PySpark.
• Praca z wewnętrznymi narzędziami (interfejsy webowe oraz usługi backendowe) wspierającymi wyszukiwanie danych i procesy automatycznego etykietowania.
• Przetwarzanie danych strukturalnych i półstrukturalnych (np. złożone struktury danych pochodzące z modeli detekcji obiektów).
• Identyfikacja i przygotowanie danych do wykorzystania w symulacjach AV oraz pipeline’ach trenowania modeli ML.
• Proaktywne proponowanie oraz walidacja metod analitycznych usprawniających proces odkrywania danych.
• Projektowanie, implementacja i utrzymanie skryptów do zaawansowanego data miningu.
• Budowa i rozwój procesów ETL do zarządzania bardzo dużymi zbiorami danych.
• Rozwijanie narzędzi analitycznych i rozwiązań automatyzujących pracę zespołu.

Wymagania

• Minimum 4 lata komercyjnego doświadczenia na stanowisku Data Engineer lub pokrewnym.
• Bardzo dobra znajomość SQL (poziom zaawansowany).
• Bardzo dobra znajomość języka Python (poziom zaawansowany).
• Doświadczenie w pracy z Apache Spark / PySpark (poziom zaawansowany).
• Umiejętność pracy z dużymi wolumenami danych czasowych (time-series data).
• Analityczne myślenie oraz umiejętność samodzielnego proponowania rozwiązań.
• J. angielski minimum B2

Mile widziane:

• Praktyczne doświadczenie w pracy z platformą Databricks.
• Znajomość workflowów uczenia maszynowego (w szczególności w zakresie danych wykorzystywanych do trenowania modeli).
• Wykształcenie wyższe w obszarze informatyki lub kierunków pokrewnych.
• Zrozumienie kontekstu systemów autonomicznych pojazdów oraz rzeczywistych scenariuszy drogowych.

Oferta

• Umowa B2B na przejrzystych warunkach.
• Współpraca w formie zdalnej z renomowaną firmą o zasięgu międzynarodowym.
• Możliwość realizowania ambitnych projektów z wykorzystaniem najnowszych technologii.