No OS X, use o TextEdit.app normal, ou baixe um editor Hex como Hex Fiend e abra o arquivo.
No entanto, não há realmente um ponto em editar um arquivo executável, a menos que você saiba especificamente o que está fazendo e o que está procurando (e eu realmente duvido disso). Você provavelmente vai quebrar sua funcionalidade.
Se você tiver um arquivo sem extensão e não souber o que é, use o comando file de um Terminal para verificar.
$ file /usr/local/bin/ffmpeg
/usr/local/bin/ffmpeg: Mach-O 64-bit executable x86_64