A partir da pergunta, é uma matriz de transformação de coordenadas padrão.
Então:
⎡x_out⎤ ⎡ a b c ⎤ ⎡ x_in ⎤
⎜y_out⎥ = ⎜ d e f ⎥ * ⎜ y_in ⎥
⎣z_out⎦ ⎣ 0 0 1 ⎦ ⎣ z_in ⎦
com z_out
= z_in
= 1.
Ou seja,
x_out = a * x_in + b * y_in + c
y_out = d * x_in + e * y_in + f
A matriz de exemplo que você deu para a rotação correta
⎡ 0 -1 1 ⎤
⎜ 1 0 0 ⎥
⎣ 0 0 1 ⎦
significa assim
x_out = 1 - y_in
y_out = x_in
para rotação à esquerda, seria o contrário, ou seja:
x_out = y_in
y_out = 1 - x_in
dando a matriz
⎡ 0 1 0 ⎤
⎜ -1 0 1 ⎥
⎣ 0 0 1 ⎦