Sim.
Mas não deve ser uma grande desaceleração a menos que você tenha nomes ao invés de IPs , tenha a opção PARANOID definida ou ident seja ativado (perguntando para informações de nome de usuário). E isso só retardará a conexão inicial, não afetará nada depois que a conexão for estabelecida e transmitindo dados.
Você pode tentar time tcpdmatch sshd 1.2.3.4
e time tcpdmatch sshd foo.example.com
com o último item definido para o nome do host ou IP do sistema do qual você está iniciando conexões. Isso deve reproduzir a maioria dos problemas de tempo do sshd processando o arquivo /etc/hosts.deny e mostrar o tempo que está demorando.