O SSH é muito mais tolerante a dispositivos de segurança de rede, como firewalls e coisas que fazem NAT. O FTP é notoriamente complicado para o firewall e geralmente requer um ponto final para ter um endereço IP real (ou seja, sem NAT).
O SSH é melhor para lidar com NAT. Na verdade, ambas as extremidades podem estar por trás do NAT, o que geralmente não é possível sem um monte de crowbar com FTP.
O FTP geralmente é mais rápido por causa da natureza simples do protocolo, embora as versões corretas do SFTP possam se aproximar desse nível de velocidade.
O suporte a FTP está embutido nos navegadores mais modernos, onde nenhum dos que conheço tem SSH. Pode haver plugins que mudem isso, no entanto.
O SSH é muito mais seguro, o que permite a autenticação do usuário. O FTP suporta isso, mas faz isso com texto simples, o que contradiz a maioria das políticas de segurança.
A única razão para usar o FTP é para compartilhamento de arquivos públicos. Coisas como repositórios de fontes do kernel linux.