Você tem um comando gvim sem opções nas quais manipula o nome do arquivo e um gvim -r no qual está passando o arquivo de troca.
Se você gosta do que o laço for faz, tente isto (que é uma versão somente bash):
find ~/git -name *.swp -exec bash -c 'f=${1%.swp}; f=${f/\/./\/}; gvim "%f"' x {} \;
Passar o "x" para o bash define $ 0 para "x", portanto, o espaço para localizar {} se torna $ 1.