A mensagem "Retirando registro de endereço" não significa que o avahi esteja removendo o endereço IP, apenas significa que o avahi detectou que o endereço IP foi removido e está alterando seu estado interno em resposta .
Em outras palavras, você precisa procurar mais; isso não é culpa do avahi.