Eu estou supondo que o cliente telnet precisa de um terminal para poder citar uma velocidade de terminal, e eu estou supondo que quando é iniciado a partir de Java, não há nenhum tty associado ao processo. Dependendo do seu caso de uso, você poderia tentar gerar um xterm e executar o telnet dentro dele.
Se isso não for aceitável, e você não conseguir encontrar uma maneira de definir isso explicitamente usando o cliente GNU telnet, talvez queira tentar usar uma API de telnet Java nativa mencionada por outro pôster, em vez de gerar um processo externo.