Eu usei muitas versões de asterisco, com vários provedores de VoIP diferentes (SIP e um ou dois IAX2), placas físicas em linhas analógicas (Sangoma / Digium / Pika) e muitos hardphones e baseados em PC (Aastra / Polycom / Sipura / Linksys / Snom / Mitel) e nunca tive esse problema.
É quase certamente o seu gateway PSTN. Se for uma placa analógica, provavelmente haverá uma espera extra no final da string de discagem ou uma configuração de atraso específica para o fabricante. Esses cartões silenciam a linha durante a discagem, e é provavelmente o que está acontecendo aqui.