Respondendo a minha própria pergunta, aparentemente algumas informações temporárias são armazenadas sobre o arquivo, mesmo quando você faz um :bd
, e para "realmente" remover um arquivo da memória do Vim, você tem que fazer um :bw
(bufferwipe). A informação temporária sobre o symlink que faz o alvo abrir como o symlink parece um bug no Vim, mas em qualquer caso abrindo o symlink original novamente e usando :bw
parece resolver este problema.