O modo de transferência "Binário" do FTP copia os arquivos exatamente, byte para byte. Simples e direto.
Ao trazer arquivos de texto entre diferentes sistemas operacionais, no entanto, isso pode não ser o que você deseja - sistemas operacionais diferentes usam códigos diferentes para representar as quebras de linha. O modo "ASCII" existe para este propósito: ele traduz automaticamente todos os finais de linha do formato do sistema de origem para o destino.
Não tenho certeza sobre "Auto", mas imagino que parece que a extensão do arquivo ou algo semelhante para decidir se é um arquivo de texto e tenta adivinhar o modo apropriado.
O modo que você quer depende exatamente do que você está fazendo com os arquivos ... se você está apenas copiando-os para fazer o backup, então você provavelmente vai querer copiar em modo binário para que eles sejam exatamente o mesmo quando você mais tarde restaurá-los para o servidor do Windows novamente. Se eles precisarem ser usados como arquivos de texto (talvez como arquivos de configuração para um programa multi-plataforma?) Em ambos os lados, você vai querer usar o modo ASCII para traduzi-los.
EDIT: Até onde eu sei, o FTP de arquivos do Windows para o Linux nunca deve resultar em quebras de linha ... no entanto , se você copiá-los em ASCII modo, e depois trazê-los de volta para o servidor Windows no modo binário, as terminações de linha no estilo Linux podem não ser reconhecidas na caixa do Windows. (O Bloco de Notas não os verá; o Wordpad irá; YMMV com outro software.)
(Hoje, tal conveniência - convertendo terminações de linha automaticamente - pode parecer estranho em um protocolo básico como o FTP. Quando o FTP foi inventado, no entanto, o envio de arquivos de texto era a norma, e um dos objetivos do protocolo era tornar isso o mais fácil possível.)