However if I try to connect from outside the docker conatainter / host I get prompted for a password. Should this happen? My assumption was that since I only configured the Port parameter everything else would be turned of including password authentication.
Sim. A autenticação por senha está ativada por padrão, porque às vezes é o único método em que você pode acessar servidores recém-instalados. Mas você pode simplesmente desativá-lo usando ChallengeResponseAuthentication no
e PasswordAuthentication no
no seu sshd_config
.