Jan 2022 – heute
Remote
4 Jahre 9 Monate
aktuell
Software Engineer
UpFlux / Process Intelligence
PythonFastAPIPostgreSQLBackground WorkersPolarsAWS
- Die Backend-Architektur eines KI-gestützten Beschaffungsagenten mitgestaltet und kontinuierlich weiterentwickelt, Grenzen zwischen APIs, Workern und Services definiert sowie Architekturverbesserungen, Performance-Optimierungen und neue Backend-Funktionen verantwortet.
- Ressourcenintensive Workloads neu strukturiert, indem langlaufende Verarbeitung aus synchronen API-Anfragen in Background Worker verlagert wurde, wodurch Ressourcenisolierung und Service-Verfügbarkeit verbessert wurden.
- Ein internes Python-ETL-Framework für Process-Mining-Anwendungen entworfen und entwickelt, das Verarbeitungsabläufe für CSV-, Excel- und Parquet-Quellen standardisiert und Polars als zentrale Processing Engine nutzt.
- Großvolumige Event-Transformationen durch den Wechsel von Pandas zu Polars sowie algorithmische Verbesserungen, Lazy Evaluation, parallele Ausführung und speicherbewusste Verarbeitung optimiert und dadurch Workloads mit mehreren zehn Millionen Ereignissen ermöglicht.
- Wiederverwendbare Integrationskomponenten für Unternehmenssysteme entwickelt, die Daten aus SAP, TOTVS/Datasul und Protheus extrahieren und Resilienzmechanismen wie Wiederholungsversuche bei temporären Serverfehlern, Rate Limiting und Circuit Breaker einsetzen.
- Speicher- und Performance-Probleme in Produktion durch Analyse wiederkehrender Service-Neustarts, Anwendungslogs und RAM-Metriken diagnostiziert und behoben, Ressourcenbindung in Cache- und Dokumentverarbeitungsabläufen identifiziert und die Service-Stabilität verbessert.