Veja a diretiva UseDNS.
"UseDNS Specifies whether sshd(8) should look up the remote host name, and to check that the resolved hostname for the remote IP address maps back to the very same IP address.
If this option is set to no (the default) then only addresses and not host names may be used in ~/.ssh/authorized_keys from and sshd_config Match Host directives."
Como uma nota lateral, você sempre pode configurar o cliente para forçar o IPv4 a conectar-se a esse host específico em seu ssh_config. Eu usei AllowUsers principalmente para corresponder nomes de usuários, se você quer combinar em nomes de host e IP, você pode querer dar uma olhada no uso do TCP wrapper.
Veja: link