Eles só aparecem para não serem apagados, porque algum outro processo ainda está usando o arquivo e ainda não terminou com ele.
Veja esta página no site de suporte da Microsoft:
Você não pode excluir um arquivo ou uma pasta em um volume do sistema de arquivos NTFS
Cause 2: The file is being used
You may not be able to delete a file if the file is being used. To resolve this issue, determine the process that has the open handle, and then close that process.
Depending on how the file is opened (for example, it is open for exclusive access instead of shared access), you may not be able to delete a file that is in use. You can use a variety of tools to help you determine the processes that have open handles to files whenever you want.
[...]
The symptoms of this issue may vary. You may be able to use the Delete command to delete a file, but the file is not actually deleted until the process that has the file open releases the file.
O Steam é executado continuamente em segundo plano, portanto, os arquivos que ele estiver usando não serão liberados (e, portanto, excluídos adequadamente) até que o Steam pare de ser executado, o que normalmente ocorre somente quando você faz logoff.
Você pode usar o Process Explorer ou o handle (ambos disponíveis no SysInternals site) para determinar qual processo ainda está usando o arquivo que você está tentando excluir.
Mas eu não acho que seja realmente um problema - só parece como um problema. Considere isso como um problema de exibição.