Você tem um comando gvim
sem opções nas quais manipula o nome do arquivo e um gvim -r
no qual está passando o arquivo de troca.
Se você gosta do que o laço for
faz, tente isto (que é uma versão somente bash):
find ~/git -name *.swp -exec bash -c 'f=${1%.swp}; f=${f/\/./\/}; gvim "%f"' x {} \;
Passar o "x" para o bash define $ 0 para "x", portanto, o espaço para localizar {}
se torna $ 1.