Você compara arquivos no modo binário quando os arquivos não são arquivos de texto com terminadores de fim de linha ou separadores de linha conhecidos. Um exemplo pode ser alguns arquivos de dados binários. Nesse caso, talvez você queira ver os valores offset e hexadecimal das diferenças, em vez de exibir algumas versões antes e depois do texto.
Veja esta pergunta e esta lista