Eu configurei meu emulador de terminal para enviar as teclas de seta para a roda de rolagem quando no modo de tela alternada.
No iTerm2, em Preferências > Avançado e procure por "rolagem".
Não interfere nos códigos de escape do xterm quando algo o suporta, mas quando não o faz (como em menos), envia as teclas de setas em vez disso. Ainda não é uma solução completa, mas melhor que nada. (Eu acho que é o que o terminador do Sparhawk estava fazendo na seção de comentários acima)