Talvez as conversões de terminação de linha no vsftpd tenham sido escritas de forma ineficiente, e como o modo binário é mais comumente usado, ninguém se preocupou em melhorar o algoritmo usado no vsftpd.
Ou, pode ser apenas que passar dados de um soquete de tcp para o disco é realmente muito mais rápido do que ter que verificar cada caractere para CR e LF. A verificação pode introduzir latência suficiente na conexão para reduzir sua velocidade de transferência.
Você está executando testes localmente na Ethernet (baixa latência, seria muito afetado pela latência adicional) ou pela Internet?