Pode ser um problema com o recurso de economia de energia do USB suspenso.
Se você tiver o powernap instalado, isso pode ajudar:
sudo powernap-action --disable usb_autosuspend
Sem powernap, você pode tentar desativar o recurso de suspensão automática no módulo usbcore:
echo "options usbcore autosuspend=0" | sudo tee /etc/modprobe.d/usbcore
Você provavelmente terá que reinicializar (ou descarregar e recarregar o módulo, mas boa sorte com isso se estiver usando um teclado USB) para ver se a alteração é eficaz.
Se isso não ajudar, faça o seguinte para limpar:
sudo rm /etc/modprobe.d/usbcore