Você está executando dois comandos diferentes (que parecem semelhantes).
O! O operador sempre executará um shell e executará a linha de comando especificada.
O operador: pwd é um comando vim.
Quando você executa o comando: pwd, o diretório é relativo ao ambiente vim. O ! operador é relativo a como seu shell está configurado.