Isso depende do que exatamente o driver realtek fez para o seu sistema. Eu acho que o driver se instalou no diretório de módulos do seu kernel. Neste caso, você pode reinstalar o kernel:
sudo apt-get install --reinstall linux-image-$(uname -r)
Outra opção é que o driver se instalou no diretório de atualização no kernel:
/lib/modules/$(uname -r)/updates/...
Aqui você pode simplesmente excluir o módulo desse diretório.
Para descobrir onde o driver está localizado, use:
modinfo "Name of the kernel module"