O melhor é bloquear todas as portas (iptables padrão para DROP) e abrir apenas o que você precisa (provavelmente a porta 5060, pelo menos, para o seu servidor asterisco). Se você precisa administrar o asterisco de fora, a porta 80 precisa estar aberta se você administrá-lo a partir de um navegador da web ou da porta 22, se você usar o ssh.
Atualização:
Para o Asterisk, eu não acho que você precise de outras portas abertas e mesmo não tendo certeza de que precisa do 5060 aberto. Se você receber apenas chamadas que chegam através do seu provedor de voip (com um tronco), não há necessidade de abrir 5060.
Você precisa abrir o 5060 se tiver extensões (ou outro PBX VoIP) conectando-se a partir da Internet, mas eu não recomendo isso se você puder evitá-lo. Você pode usar uma VPN.
tbh Acho melhor usar asterisco na LAN (por trás de um roteador / servidor com NAT e firewall), sem conexão direta a internet. Nesse caso, o servidor (ou roteador) com acesso à Internet deve encaminhar pela porta o intervalo de portas RTP usado no asterisco (8000-10001 possivelmente) para o servidor asterisco. Você também precisa encaminhar a porta 5060 se receber novas conexões.
Obs: uma nova chamada recebida de um tronco (DID por exemplo) não é uma nova conexão para 5060 porque a conexão com seu provedor de voip usando o tronco é iniciada por asterisco, portanto, está no estado RELATED ou ESTABLISHED para o firewall e já deve estar autorizado pelo firewall do roteador (se não, você provavelmente não tem internet na LAN).