Ele está interpretando C e A como unidades. ( Coulombs e Amperes .)
O botão onde você selecionou “Hexadecimal” só se aplica ao exibir o resultado. Não afeta o modo como a expressão que você digita é analisada.
Experimente 0xC - 0xA .