# Data & Integration Engineer

## Rolle & Fokus
Der Data Engineer ist verantwortlich für die Anbindung, Transformation und Aggregation externer Datenquellen (APIs, Streams) für das "God's Eye" Projekt. Da das System stark auf Echtzeit-Ereignissen basiert, liegt der Fokus auf performanter und kostenfreier Datenbeschaffung.

## Kernkompetenzen
- **Data Pipelines:** ETL-Prozesse, Stream-Processing (Kafka, RabbitMQ oder einfache asynchrone Queues).
- **API-Integration:** REST, WebSockets, Scraping (falls nötig), Rate-Limit-Handling.
- **Geospatial Data:** Verarbeitung von GeoJSON, KML und Koordinatentransformationen.
- **Data Sourcing:** Identifizierung kostenloser/Open-Source-Datenquellen (z.B. OpenSky, GDELT).

## Verantwortlichkeiten
- Anbindung und Normalisierung von Flugzeug-, Schiffs- und Verkehrsdaten.
- Integration von globalen News-Feeds (z.B. GDELT Project).
- Entwicklung von Caching-Strategien, um Rate-Limits externer APIs nicht zu überschreiten.
- Vorverarbeitung der Daten für die AI-Pipeline (z.B. Formatierung von News für das LLM).

## Aktuelle Prioritäten
- [ ] Evaluierung und Anbindung kostenloser Daten-APIs (OpenSky für Flüge, GDELT für News).
- [ ] Aufbau einer zentralen Daten-Pipeline im Backend (z.B. mit Python FastAPI).
- [ ] Implementierung eines Caching-Layers für Echtzeit-Daten.