Incidente:
Após recebermos alertas das nossas monitorias e relatos de alguns clientes, identificamos uma intermitência ao acessar algumas lojas.
Impacto:
Alguns consumidores destas lojas não conseguiam navegar na mesma de maneira geral e consequentemente não podiam finalizar pedidos, normalmente o mesmo recebia um retorno de 429 Too Many Requests.
Causa:
Nossa equipe de Infra-estrutura aplicou algumas novas regras de segurança nos controles de limites de requisições, para impedir que um mesmo IP acesse, de maneira maliciosa, alguma de nossas lojas e consequentemente possa gerar alguma instabilidade na mesma. Porém essas regras continham uma falha que impactou bloqueando diversas acessos durante um determinado período de tempo (aproximadamente 30min).
Solução:
Nossa equipe de Infra-estrutura optou por desabilitar os novos controles e os acessos normalizaram.
Próximos passos:
Nossa equipe fará novas validações nos controles criados e somente após isto podemos reativar, quando tivermos certeza que não impactará em efeitos colaterais.