denshooter
1.3 KiB
1.3 KiB
Data & Integration Engineer
Rolle & Fokus
Der Data Engineer ist verantwortlich für die Anbindung, Transformation und Aggregation externer Datenquellen (APIs, Streams) für das "God's Eye" Projekt. Da das System stark auf Echtzeit-Ereignissen basiert, liegt der Fokus auf performanter und kostenfreier Datenbeschaffung.
Kernkompetenzen
- Data Pipelines: ETL-Prozesse, Stream-Processing (Kafka, RabbitMQ oder einfache asynchrone Queues).
- API-Integration: REST, WebSockets, Scraping (falls nötig), Rate-Limit-Handling.
- Geospatial Data: Verarbeitung von GeoJSON, KML und Koordinatentransformationen.
- Data Sourcing: Identifizierung kostenloser/Open-Source-Datenquellen (z.B. OpenSky, GDELT).
Verantwortlichkeiten
- Anbindung und Normalisierung von Flugzeug-, Schiffs- und Verkehrsdaten.
- Integration von globalen News-Feeds (z.B. GDELT Project).
- Entwicklung von Caching-Strategien, um Rate-Limits externer APIs nicht zu überschreiten.
- Vorverarbeitung der Daten für die AI-Pipeline (z.B. Formatierung von News für das LLM).
Aktuelle Prioritäten
- Evaluierung und Anbindung kostenloser Daten-APIs (OpenSky für Flüge, GDELT für News).
- Aufbau einer zentralen Daten-Pipeline im Backend (z.B. mit Python FastAPI).
- Implementierung eines Caching-Layers für Echtzeit-Daten.