SSH sim, FTP no. Como bônus, o HTTP só é seguro se você usá-lo por HTTPS. Você pode usar SCP ou SFTP para transferir arquivos com segurança para hosts que já estão executando o SSH.
Apenas não use uma versão do SSH dos anos 90 e você estará bem.
Eu preciso sair deste apartamento e ver outros seres humanos. Eu gostaria de ir ao café local para fazer a configuração do meu servidor através do SSH. Eu também poderia estar usando o FTP. Isso é seguro?
para ser mais segura, a autenticação baseada em chaves de configuração entre você e seu servidor. Ele não se conectará se houver um homem no meio da transação, dando-lhe muito mais segurança.