Os "offsets hex" são apenas números comuns e não possuem regras especiais para subtração. Você só obtém resultados diferentes porque sua entrada está errada:
we have the following hex numbers: 8A B7 00 00 FF, with their corresponding hex offsets: 0x7fffffffe066 0x7fffffffe067 0x7fffffffe068 0x7fffffffe069 0x7fffffffe070. The difference of the hex offsets of the numbers 8A and FF is 0x04 because they differ in 4 positions.
Em hexadecimal, 0x9 é primeiro seguido por 0xA, 0xB, 0xC, 0xD, 0xE, 0xF e somente então por 0x10. Portanto, se você tiver 5 bytes contíguos e o quarto estiver em 0x7FFF'FFFF'E069, o seguinte será em 0x7FFF'FFFF ' E06A , não 0x7FFF'FFFF' E070.
Em outras palavras, 0x…E070 - 0x…E066 = 0xA
é o resultado correto.