Eu encontrei uma resposta.
Procurei no registro pelo nome dos meus dispositivos e consegui excluir o ícone, mas a pasta ainda estaria lá com o nome como chaves de registro.
Depois, procurei as chaves do registro e as encontrei em:
HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\MyComputer\NameSpace\
Após apagá-lo, eles desaparecem ... Eu também tentei desinstalar e reinstalar meu driver Bluetooth, mas não funcionou ...