Não, você não pode simplesmente conectar um modem. O UM do Exchange é projetado para lidar com chamadas passadas para ele em seu sistema de telefonia. Para configurar a unificação de mensagens, você precisará da configuração do servidor PBX e do gateway SIP na sua rede telefônica.
Este artigo fornece uma boa introdução ao UM do Exchange, juntamente com um Veja como configurá-lo usando ferramentas de código aberto, como o asterix PBX.
Trabalhar com sistemas de telefonia pode ser bastante complicado, então sugiro que você leia e pratique o máximo que puder.