Você não pode com uma definição de chave / índice. De uma perspectiva de DB, os valores de (1,2) e (2,1) serão sempre diferentes.
A solução seria garantir que, por exemplo, a
sempre tem o valor mais alto que b
ou vice-versa. Você pode garantir isso no aplicativo que adiciona o registro ou como um acionador de banco de dados.
Veja também: Chave de combinação única do MySQL que tem um exemplo de como fazer isso com um gatilho.