Não há necessidade de remover nenhum gerenciador de inicialização.
Basta abrir as configurações de UEFI e alterar a ordem de inicialização de volta para "Gerenciador de inicialização do Windows" e ele inicializará o Windows diretamente.
A inicialização com o dispositivo USB conectado deve então ser inicializado no menu do Grub, a partir do qual você pode selecionar um SO ou outro. Se não for automático, certifique-se de selecionar o outro gerenciador de inicialização em vez do Windows.