Eu experimentei o que você descreveu com um MCP NVIDIA® GeForce 7050 / nForce 630A no Linux 4.4.14. Usar o driver da nvidia não foi uma opção, porque embora esse problema não tenha ocorrido com o blob, entre outras coisas, várias deformações gráficas diferentes apareceram e eu nem consegui assistir a vídeos com ele.
A solução no meu caso foi desinstalar o blob da nvidia novamente e não o modeset durante a inicialização antes que o driver nouveau assumisse o controle. No meu caso eu apenas reconfigurei o lilo comentando o "vga="linha no lilo.conf e, em seguida, executou o comando lilo para instalar o carregador de boot reconfigurado. O sistema que inclui os gráficos e a retomada da hibernação ou do modo de espera funciona muito bem com o driver nouveau agora.