Como uma das minhas sugestões funcionou, vou postar uma resposta no caso de outras pessoas se depararem com isso.
Quando o Ubuntu é instalado, ele cria algumas partições. Um é salvo para o carregador de inicialização do grub e será separado da partição EXT4. Esta partição deve ser excluída se você quiser remover completamente o Ubuntu, no entanto, como o OP fez, se você alterar a ordem de inicialização para a unidade do Windows no BIOS, você pode ignorar a necessidade de reformatar o disco