Não tenho certeza se isso funcionará, mas tive um problema semelhante com o teclado atrasado ao trocar de drivers Nouveau para Nvidia e isso funcionou para mim.
Você colocou na lista negra os drivers Nouveau e depois atualizou o initramfs? depois disso, não esqueça de reiniciar.
sudo vim /etc/modprobe.d/blacklist.conf
adicione o seguinte na parte inferior da página
# This is to remove the nouveau driver which conflicts with nvidia
blacklist nouveau
blacklist lbm-nouveau
options nouveau modeset=0
alias nouveau off
alias lbm-nouveau off
sudo update-initramfs –u
sudo reboot