Você está definitivamente atingindo o limite de conexão padrão 2 do system.net. Então, você precisa aumentar o maxConnection permitido por IP para o número de threads.
<configuration>
<system.net>
<connectionManagement>
<add address = "*" maxconnection = "100" />
</connectionManagement>
</system.net>
</configuration>
Se você tiver o Windows 7, você atingirá o limite máximo de 25 solicitações no IIS. Você terá que carregar o teste no Windows 2008 para obter o número real.
Outra coisa é que o cliente pode não estar executando todos os threads em paralelo. Então, você precisa ter certeza de que o cliente está realmente executando todos os 100 threads em paralelo.
Além dessas configurações, para aumentar o WCF, é necessário fazer alguns ajustes adicionais. Os ajustes mais comuns são explicados aqui:
link