Jan 2022 – atual
Remoto
4 anos 9 meses
Atual
Software Engineer
UpFlux / Process Intelligence
PythonFastAPIPostgreSQLBackground workersPolarsAWS
- Participei da concepção e continuo evoluindo a arquitetura de backend de um agente de compras com IA, definindo os limites entre APIs, workers e serviços e assumindo melhorias arquiteturais, otimizações de desempenho e novas capacidades de backend.
- Reestruturei cargas intensivas em recursos ao mover processamentos de longa duração de requisições síncronas da API para workers em segundo plano, melhorando o isolamento de recursos e a disponibilidade dos serviços.
- Projetei e construí um framework interno de ETL em Python para aplicações de Process Mining, padronizando fluxos de processamento de dados provenientes de CSV, Excel e Parquet e usando Polars como motor principal.
- Otimizei transformações de eventos em larga escala ao substituir o processamento baseado em Pandas por Polars e aplicar melhorias algorítmicas, avaliação preguiçosa, execução paralela e técnicas conscientes do uso de memória, viabilizando cargas com dezenas de milhões de eventos.
- Projetei e construí componentes de integração reutilizáveis para sistemas corporativos, com extração de dados de SAP, TOTVS/Datasul e Protheus, além de mecanismos de resiliência como novas tentativas para falhas transitórias de servidor, limitação de taxa e circuit breakers.
- Diagnostiquei e resolvi problemas de memória e desempenho em produção ao investigar reinicializações recorrentes de serviços, logs da aplicação e métricas de RAM, identificar retenção de recursos em fluxos de cache e processamento de documentos e melhorar a estabilidade dos serviços.