Sim, você será limitado pela sua velocidade de upload. Seus cálculos não levam em conta a sobrecarga de pacotes, para o qual você precisará adicionar cerca de 10kbit de largura de banda, o que significa cerca de 80k por chamada (dependendo de várias coisas, como número de amostras por segundo, compactação). 25 chamadas é provavelmente razoável.
Eu não sei muito sobre o Teamspeak (mas eu estou familiarizado com o VOIP em geral). Eu acredito que o Teamspeak não é um codec, e sim um encapsulamento como o SIP. Se este for o caso, gostaria de saber se o codec que você está usando é o ALAW ou o ULAW. Isso é relevante porque esses codecs fornecem voz de "qualidade de chamada telefônica" com pouca sobrecarga de processamento, o que significa que o servidor pode lidar com muitos deles. Se for esse o caso, você pode olhar para um codec baseado no Speex que lhe dará uma qualidade ainda melhor com uma utilização de largura de banda menor - mas com maior utilização da CPU.
Este link também pode ser útil para você.