Por padrão sshd
usa ipv4 e ipv6. Você pode configurar o protocolo sshd usa através da diretiva AddressFamily
em /etc/ssh/sshd_config
Para ipv4 & ipv6 (padrão)
AddressFamily any
Apenas para o ipv4
AddressFamily inet
Apenas para o ipv6
AddressFamily inet6
Depois de fazer qualquer alteração em sshd_config
restart sshd
para que as alterações entrem em vigor.