O scrollback do xterm é limitado porque ele aloca um array uma vez (na verdade, um FIFO) para manter o controle das linhas roladas. Fazer isso uma vez é muito mais rápido do que realocar periodicamente.
Você pode definir o limite de rolagem para um número muito grande (até um milhão), o que provavelmente é longo o suficiente para fins práticos. Não existe "ilimitado" quando os dados são armazenados na memória, em qualquer caso.
Antes de uma reescrever em 2009 , o limite prático para a rolagem era da ordem de 10.000 linhas devido à maneira como atualizou o buffer. Agora, é essencialmente dependente da quantidade de memória que você escolhe usar (com a ressalva de que redimensionar uma janela com um milhão de linhas de rolagem pode ser lento).