Se você quiser remover completamente o rEFInd, faça o seguinte:
sudo dpkg -P refind
sudo rm -rf /boot/efi/EFI/refind
sudo update-grub
Dependendo de como você instalou o rEFInd, o primeiro desses comandos pode retornar um erro. O segundo exclui os arquivos rEFInd. O terceiro faz com que o GRUB reconstrua seu menu de inicialização, que deve omitir as entradas rEFInd.
Se você quiser deixar o rEFInd instalado, mas remover os drivers desnecessários, poderá remover os que não deseja individualmente via rm e, em seguida, executar sudo update-grub para recriar o menu GRUB.