Verifique a documentação do Ansible em Precedência variável .
Se você fornecer a variável ansible_user com o parâmetro -u , ela sempre sobrescreverá todas as outras definições de variáveis.
Como inventory vars está quase no topo da lista vinculada, você precisa verificar a definição da variável nos outros níveis. Eu verificaria com grep para outras definições de variáveis e as removeria.