Por padrão sshd usa ipv4 e ipv6. Você pode configurar o protocolo sshd usa através da diretiva AddressFamily em /etc/ssh/sshd_config
Para ipv4 & ipv6 (padrão)
AddressFamily any
Apenas para o ipv4
AddressFamily inet
Apenas para o ipv6
AddressFamily inet6
Depois de fazer qualquer alteração em sshd_config restart sshd para que as alterações entrem em vigor.