Sim. Eu fiz isso há algum tempo e o Windows 8.1 acabou de criar outro quando eu deletei toda a pasta.
Você geralmente faz isso antes de reinstalar o Windows ou formatar a unidade do sistema para liberar o disco desses arquivos mortos. O Windows cria outra pasta dentro de $RECYCLE.BIN
para manipular os dados e separar sua visibilidade entre os usuários. De qualquer forma, é seguro excluir todos eles.
Como afirmado em outra resposta , o Windows cria metadados para conhecer suas propriedades e a localização, portanto, a manipulação manual do arquivo interromperá de alguma forma o relacionamento e o Windows não atualizará a interface da lixeira automaticamente.