Use um kernel em tempo real ou de baixa latência, você pode instalar o mais recente no Ubuntu com o seguinte comando:
sudo apt-get install linux-image-lowlatency
Em seguida, certifique-se de selecionar o kernel de baixa latência no menu grub ao ligar o computador.
Eu também diria evitar máquinas virtuais se puder, pois elas definitivamente introduzirão latência,
Sam