Por que não usar apenas iptables ou até mesmo /etc/hosts.{allow,deny} para permitir que o endereço desejado no Servidor A e, em seguida, no Servidor B permita somente o Servidor A? Por que não apenas whitelist o IP que você permite e negar todo o resto? Outra coisa que acho útil é colocar o SSH em uma porta não padrão.
Em outra nota, você pode ver / var / log / secure para ver o IP de origem.