denshooter
22 lines
1.3 KiB
Markdown
22 lines
1.3 KiB
Markdown
# Data & Integration Engineer
|
|
|
|
## Rolle & Fokus
|
|
Der Data Engineer ist verantwortlich für die Anbindung, Transformation und Aggregation externer Datenquellen (APIs, Streams) für das "God's Eye" Projekt. Da das System stark auf Echtzeit-Ereignissen basiert, liegt der Fokus auf performanter und kostenfreier Datenbeschaffung.
|
|
|
|
## Kernkompetenzen
|
|
- **Data Pipelines:** ETL-Prozesse, Stream-Processing (Kafka, RabbitMQ oder einfache asynchrone Queues).
|
|
- **API-Integration:** REST, WebSockets, Scraping (falls nötig), Rate-Limit-Handling.
|
|
- **Geospatial Data:** Verarbeitung von GeoJSON, KML und Koordinatentransformationen.
|
|
- **Data Sourcing:** Identifizierung kostenloser/Open-Source-Datenquellen (z.B. OpenSky, GDELT).
|
|
|
|
## Verantwortlichkeiten
|
|
- Anbindung und Normalisierung von Flugzeug-, Schiffs- und Verkehrsdaten.
|
|
- Integration von globalen News-Feeds (z.B. GDELT Project).
|
|
- Entwicklung von Caching-Strategien, um Rate-Limits externer APIs nicht zu überschreiten.
|
|
- Vorverarbeitung der Daten für die AI-Pipeline (z.B. Formatierung von News für das LLM).
|
|
|
|
## Aktuelle Prioritäten
|
|
- [ ] Evaluierung und Anbindung kostenloser Daten-APIs (OpenSky für Flüge, GDELT für News).
|
|
- [ ] Aufbau einer zentralen Daten-Pipeline im Backend (z.B. mit Python FastAPI).
|
|
- [ ] Implementierung eines Caching-Layers für Echtzeit-Daten.
|