Isso fará com que a conexão inicial seja uma fração mais lenta, mas o passado não deve ter relação com a capacidade de resposta uma vez conectada.
De um modo geral, hosts.deny é bastante rápido: em um teste que acabei de executar, um host.deny de comprimento zero levou 0.93 segundos para iniciar e fechar uma conexão ssh ("time ssh testhost env"). Com um hosts.deny de 64.010 linhas (do formato "ALL: 10.10.x.y", com xey correndo de 2 a 254), a mesma conexão demorou 1,03 segundo. Todos os tempos foram calculados sobre quatro amostras.Obviamente, sua milhagem pode variar e, por isso, sugiro que teste, mas duvido que você tenha sérios problemas.