Como você explicou, o nome do arquivo é gravado, mas o conteúdo do arquivo não estará disponível, desde que você mantenha a unidade flash USB longe do computador.
Se você estiver usando o Microsoft Office 2013 e posterior, e o arquivo não salvo que você explicou estiver aberto por muito tempo, considere ver a seguinte pasta, pois ele pode conter fragmentos do arquivo não salvo que você fechou:
%USERPROFILE%\AppData\Local\Microsoft\Office\UnsavedFiles
Sinta-se à vontade para excluir qualquer coisa que tenha encontrado lá.