O comando:
sudo apt-get install linux-lowlatency
funciona bem.
Nos velhos tempos, você tinha que fazer isso manualmente, o que era muito mais propenso a erros. O sintetizador plug-in de Yoshimi tinha ficado muito atrás de um teclado qwerty, tanto quanto da minha entrada de teclado USB MIDI. Agora, responde praticamente instantaneamente.
Bem explicado em link