Soa bastante normal na verdade. Sua velocidade de upload é provavelmente um fator limitante disso.
As diretrizes do Twitch (como exemplo) especificam uma taxa de bits máxima de 3500 kbps , que não está muito longe da sua velocidade máxima de upload. Talvez considere experimentar um software de streaming diferente, que pode ser mais eficiente, ou reduzir ligeiramente a qualidade, embora um aumento de ping de 5 a 20 ms, quando o seu ping já é muito baixo, pareça bastante razoável.
Como alternativa, se você levar isso muito a sério, talvez valha a pena verificar se o seu ISP, ou outro, pode fornecer uma velocidade de upload maior. Você poderia, pelo menos, como teste, deixar a qualidade muito baixa (muito menor do que você consideraria realmente transmitir) e ver o impacto que ela tem, aumentando lentamente a qualidade e verificando se você pode observar esses picos começando acontecer.