Bem, os drivers nvidia não são os melhores que eu já vi.
O provável motivo pode ser alguma incompatibilidade entre seu xorg e seus drivers nvidia (não-livres, binários).
O primeiro que eu faria no seu lugar: removendo o linux-firmware-nonfree e reboot.
Em segundo lugar, você pode pensar em uma atualização do kernel (se você não estiver na versão mais recente da sua distribuição).
Minha terceira tentativa seria carregar um pacote de driver nvidia mais recente de sua distribuição de pacote upstream: link . Estes são para o Ubuntu, mas você terá uma boa chance de fazê-los funcionar também no Debian.
Se o seu cartão for mais antigo, você pode tentar um lançamento de driver nvidia mais antigo - a nvidia gosta de esquecer suas placas antigas.
Aqui você pode encontrar as fontes do Debian para pacotes proprietários da nvidia.