Talvez a execução do servidor X no modo de janela limitado ao tamanho desejado:
startx -- -screen 0 640x480
Na página man do startx, as opções para o servidor X são introduzidas por --
e pelo man page para o xwin , ele tem a opção -screen para configurar o tamanho da tela X.
Mas duvido que isso torne tudo mais rápido.