Você pode fazer isso com a ferramenta xrandr
e sua opção --transform
para a qual você pode passar uma matriz de transformação 3x3.
Infelizmente, não conheço nenhuma GUI para calcular a matriz de transformação. Mas vários projetos de fontes abertas têm ferramentas para fazer isso (OpenCV, openFrameworks ...) de 2 conjuntos de 4 cantos.