Eu acredito que o atraso precisa estar lá. O terminal não pode adivinhar se você está digitando ou há algum outro evento a ser executado em um determinado pressionamento de tecla. Então, após cada tecla (ou combinação de teclas) pressionada, seu terminal precisa aguardar o efeito do servidor. Que geralmente é adicionar uma letra / caractere ao prompt.
Você pode pressionar várias teclas em sequência sem aguardar a resposta, mas é preciso aguardar a resposta antes que o efeito da digitação fique visível.