Eu recomendo que você use cmp
é bastante útil e tem boas opções como -b se você quiser imprimir bytes que diferem e -l ser mais detalhado.
Por exemplo, para comparar o arquivo aeb use uma linha de comando como:
$ cmp -lb a b
Ele irá mostrar todos os bytes que diferem. Se ambos os arquivos forem iguais, cmp retornará silenciosamente (você sempre pode verificar seu valor de retorno $?) Note que cmp com a opção -b produzirá apenas bytes diferentes e que, se você não usar a opção -l, irá parar no primeiro byte que seja diferente.