O sintoma (teste automatizado sempre passa, mas o bug existe em produção) sugere que o teste não está exercitando o caminho real. Pontos a checar:

Onde a validação realmente acontece: só no front-end (JS) ou também no back-end? Se só no front, dá pra contornar enviando a requisição direto pra API (ferramenta, extensão, ou até desabilitando JS): o teste de UI nunca pegaria isso porque ele usa o formulário normalmente.
Validação nativa do navegador mascarando o teste: como visto nesta trilha, um atributo como minlength ou required pode bloquear o envio antes do JS rodar. Se o teste sempre preenche uma senha "razoável", nunca exercita o caso de borda que o bug real usa.
Se o teste usa um seletor frágil que não está realmente apontando pro campo de senha certo (por exemplo depois de um redesign), ele pode estar validando outro campo sem perceber.
Reproduzir manualmente o relato do usuário primeiro, exatamente a senha, exatamente os passos, antes de mexer no teste, pra não "consertar" um teste que nunca estava testando o cenário certo.

O ponto geral: teste de UI só cobre o que passa pela UI. Validação de segurança/negócio importante deveria existir (e ser testada) também no back-end.

Prova do Módulo 2