Na verdade, eu mesmo encontrei essa resposta bisbilhotando mais tarde, pouco antes de mudar para o Arch Linux.
Em pavucontrol
, você pode ir ao seu dispositivo de saída em questão e selecionar o menu suspenso "avançado". Há uma opção chamada "Latency Offset" (deslocamento de latência).
Por algum motivo, o meu foi definido como 1000.00. Basta configurá-lo para 0,00 e o problema desaparece.