Você está rolando e posicionando o cursor mantendo pressionadas as teclas de seta e confiando na repetição automática de teclas? Se sim, então o problema pode ser simplesmente a taxa de repetição da sua chave. Você pode ajustar isso no painel Teclado das Preferências do Sistema.
Se você já tiver as configurações de taxa de repetição de teclas e de atraso antes de repetir as configurações mais rápidas, convém pensar em ajustá-las manualmente usando esse truque que foi postado no StackOverflow: link
Você também pode querer desativar a rolagem suave no painel Aparência das Preferências do Sistema, caso isso atrase você.
Também seria interessante comparar o Terminal.app integrado do Mac OS X a outros emuladores de terminal no Mac OS X, como o iTerm ou o xterm, no ambiente interno do X11, ou até mesmo o Modo de Usuário Único (mantenha pressionado Cmd-S na inicialização até obter um prompt de shell) para ver como esses outros emuladores se comparam para os problemas de velocidade que você está falando.
Era uma vez, Terminal.app foi um pouco lento ao despejar toneladas de texto para a janela como cat'ing um arquivo enorme, porque insistia em desenhar todos os personagens para a tela, não importa o quão longe por trás estava recebendo produzindo o texto enfileirado, e demorava muito para desenhar glifos antialiased apropriados para cada caractere. Eu não vi isso ser um problema em anos e anos embora.