Respondendo a minha própria pergunta, aparentemente algumas informações temporárias são armazenadas sobre o arquivo, mesmo quando você faz um :bd , e para "realmente" remover um arquivo da memória do Vim, você tem que fazer um :bw (bufferwipe). A informação temporária sobre o symlink que faz o alvo abrir como o symlink parece um bug no Vim, mas em qualquer caso abrindo o symlink original novamente e usando :bw parece resolver este problema.