Em muitos provedores de VPS, é bastante comum ter intervalos curtos em conexões de rede. Isso pode acontecer por causa da conexão incorreta ou, por exemplo, do firewall, que está perdendo estados de conexão por algum motivo. Além disso, isso realmente não importa, por exemplo, com o servidor HTTP, pois os navegadores estão fazendo solicitações curtas e abrindo novas conexões.
Uma maneira de descobrir se o problema está no TeamSpeak ou em conexão é manter alguma outra conexão TCP aberta ao mesmo tempo, por exemplo, SSH. Observe que, por exemplo, o OpenSSH não se desconecta imediatamente quando há problemas com a conexão, massa faz.