A configuração que você está procurando é /etc/ssh/sshd_config
. O arquivo ssh_config é para o cliente ssh.
Eu defini uma porta personalizada para SSH dentro de /etc/ssh/ssh_config
na minha instalação do ubuntu-server e ele ainda está aceitando o SSH na porta 22 após a reinicialização do servidor.
Existe algo mais que eu preciso fazer além de ....
Host *
PermitRootLogin no
Port 6685
Protocol 2,1
SendEnv LANG LC_*
HashKnownHosts yes
GSSAPIAuthentication yes
GSSAPIDelegateCredentials no