Você relata em comentários que interromper o serviço systemd-logind o leva de volta ao login gráfico . Se você tem um login gráfico, então X está rodando, então o driver de vídeo está carregado e em uso. Isso muito provavelmente explica em parte porque o módulo nvidia-drm está em uso.
Além disso, você revela um equívoco aparente quando diz
I have rebooted and started in text-only mode (by pressing Ctrl+Alt+F2
before giving username/password), but I got the same error.
Pressionar Ctrl + Alt + F2 alterna para um terminal virtual # 2, que pode ser configurado para login em modo texto, mas está muito longe de "iniciar no modo de texto". Se você tinha uma tela de login gráfica no terminal virtual padrão, então X está rodando, e mudar para um VT diferente não muda isso. Você está apenas fazendo login em uma sessão não-X.
A primeira e mais fácil coisa a tentar é realmente desligar o servidor X. A maneira antiga de fazer isso seria logar em sua sessão em modo texto e executar o comando
telinit 3
para mudar para o nível de execução 3. Isso também deve funcionar com o systemd, mas a maneira nativa do sistema seria executar
systemctl isolate multi-user.target
Ambos exigem privilégios, é claro, então você precisará usar sudo
ou tornar-se root.
Se isso não remover o módulo, ou pelo menos possibilitar que você o faça manualmente, sua próxima melhor aposta seria inicializar o sistema diretamente no nível de execução 3 (destino de vários usuários) ou talvez até mesmo no runlevel 1 (alvo de resgate). Eu costumo fazer isso adicionando "3" (ou "1") ao final da lista de argumentos do kernel no momento da inicialização via bootloader. Você também pode alterar o destino de inicialização padrão, conforme descrito em este artigo .
Observe também que o driver nVidia está disponível em pacotes pré-compilados para a maioria das distribuições Linux. Poucos incluem esses pacotes em seus próprios repositórios padrão, porque o driver é, afinal, proprietário, mas você pode certamente encontrar um repo de terceiros respeitável que o tenha. Eu recomendo strongmente o uso de tais pacotes em vez de executar o instalador diretamente, mas para chegar lá de onde você está agora, você pode precisar primeiro desinstalar manualmente o driver.