Ansible lê o inventário inteiro e o grupo vars antes da execução, portanto, mesmo que nenhum host esteja no GroupB, os vars ainda precisarão ser descriptografados.
Se você não gosta de digitar o passe do cofre, pode passar um caminho de arquivo com ele.