Você pode fazer isso, mas a segunda tela aparecerá um pouco confusa, pois os pixels serão interpolados. Você estará dizendo ao xrandr para criar um fator de escala para a segunda tela, para que a resolução desejada seja comprimida no display.
Em um terminal, digite o seguinte comando
xrandr --output VGA1 --mode 1024x768 --scale 1.334x1 --panning 1366x768