Esse é o comportamento esperado. O arquivo não é realmente excluído até que todos os usuários do arquivo tenham fechado sua 'conexão' ao arquivo (isto é, liberaram o identificador de arquivo).
O que você precisa fazer é desligar o programa, não apenas pausá-lo. Isso fará com que o programa libere sua conexão, permitindo que o sistema de arquivos exclua o arquivo.