Eu tenho duas soluções para você.
(1) Use VPN - VPN não vai abrandar você pi. VPN funciona no roteador onde a autenticação & criptografia vai acontecer. Normalmente, você não verá problemas de lentidão com a VPN.
(2) Use o encaminhamento de porta, mas para apenas um servidor ou até mesmo um pi. Uma vez que você em um pi ou servidor, você pode então ssh daquele servidor / pi para outros pis.