OK, seguindo o link de schaiba para o relatório de bug, criei o script .sh com as seguintes linhas:
#!/bin/bash
xrandr --newmode "1920x1040_60.00" 165.50 1920 2040 2240 2560 1040 1043 1053 1079 -hsync +vsync
xrandr --addmode VNC-0 "1920x1040_60.00"
xrandr -s 1920x1040
depois de chmod + x o arquivo e colocando-o na minha pasta ~ / .vnc ele é executado quando eu faço login com o xrdp.