Ele está interpretando C
e A
como unidades. ( Coulombs e Amperes .)
O botão onde você selecionou “Hexadecimal” só se aplica ao exibir o resultado. Não afeta o modo como a expressão que você digita é analisada.
Experimente 0xC - 0xA
.