Não é necessário formatar o seu dispositivo!
Se você não pode remover ou alterar nada, provavelmente o seu stick USB está no estado "somente leitura".
Caso contrário, o smtg está errado com o seu driver ou há um vírus estúpido.
Mas se tudo estiver OK, basta fazer o seu Windows mostrar todos os arquivos ocultos e do sistema,
ou inicie o CMD.exe e escreva lá:
attrib -s -h -r <your drive>\*.* /s /d
Agora todos os arquivos são visíveis e não são somente leitura, incluindo memtest. Agora você pode remover todos os arquivos estranhos!