Descobri que eu tinha o kernel virtual instalado (eu provavelmente o instalei enquanto tentava consertar o VirtualBox). O Grub estava carregando este kernel como o kernel padrão que quebrava o uso de mouse e teclado. Rodando o kernel normal consertou isso. Talvez isso ajude alguém com uma configuração semelhante.