Você está em um ambiente onde você não é um administrador (ou seja, no trabalho)? Quando você não está tunelando, sua internet é rápida? Nesse caso, pode haver um limite de largura de banda nas portas SSH para essa conexão com a Internet.
Se você está tentando acessar uma conexão rápida via túnel usando uma conexão lenta, não adianta - seria como beber de um canudinho, conectar um canudinho no final do copo e esperar capaz de beber mais rápido.
Se você puder ser mais específico, talvez eu possa dar uma solução, mas, como é agora, parece que não há muito o que fazer.