O hexadecimal não altera o valor, apenas o formato em que o número é escrito.
(((hex)780/(dec)8))-(dec)31
e
(((dec)1920/(dec)8))-(dec)31
são equivalentes e ambos são avaliados em 0xD1
(hex) ou 209
(decimal).
Na verdade, é o byte 39, que é ambíguo na sua pergunta, porque você não especificou se 16:9
é 11 em decimal ou hex (embora eu suspeite que seja 11 em hexadecimal)