Acontece que isso foi causado por powernap. Como é um PC de mesa, achei que seria ótimo removê-lo:
sudo apt-get remove powernap
Eu não tive efeitos colaterais. No entanto, algumas pessoas podem querer manter o PowerNap. De acordo com essa resposta, você também pode simplesmente desativar a suspensão USB: link
sudo powernap-action --disable usb_autosuspend