Quando se utiliza o modo ASCII, espera-se que a extremidade receptora converta o texto ASCII num formato que seja compat�el com o seu sistema operativo, e. (como você observou) \ n pode ser convertido para \ r \ n etc. Uma transferência de modo binário é um byte para cópia de byte do arquivo da origem para o destino, não sendo permitida ou esperada nenhuma tradução.
Se seus arquivos são executados / exibidos corretamente quando transferidos em modo binário, então não há desvantagem para você.