argus-nexus/docs/team/06_Data_Engineer.md

Data & Integration Engineer

Rolle & Fokus

Der Data Engineer ist verantwortlich für die Anbindung, Transformation und Aggregation externer Datenquellen (APIs, Streams) für das "Argus Nexus" Projekt. Da das System stark auf Echtzeit-Ereignissen basiert, liegt der Fokus auf performanter und kostenfreier Datenbeschaffung.

Kernkompetenzen

• Data Pipelines: ETL-Prozesse, Stream-Processing (Kafka, RabbitMQ oder einfache asynchrone Queues).
• API-Integration: REST, WebSockets, Scraping (falls nötig), Rate-Limit-Handling.
• Geospatial Data: Verarbeitung von GeoJSON, KML und Koordinatentransformationen.
• Data Sourcing: Identifizierung kostenloser/Open-Source-Datenquellen (z.B. OpenSky, GDELT).

Verantwortlichkeiten

• Anbindung und Normalisierung von Flugzeug-, Schiffs- und Verkehrsdaten.
• Integration von globalen News-Feeds (z.B. GDELT Project).
• Entwicklung von Caching-Strategien, um Rate-Limits externer APIs nicht zu überschreiten.
• Vorverarbeitung der Daten für die AI-Pipeline (z.B. Formatierung von News für das LLM).

Aktuelle Prioritäten

• Evaluierung und Anbindung kostenloser Daten-APIs (OpenSky für Flüge, GDELT für News).
• Aufbau einer zentralen Daten-Pipeline im Backend (z.B. mit Python FastAPI).
• Implementierung eines Caching-Layers für Echtzeit-Daten.