Não, o tráfego de saída não será afetado.
Devido à maioria dos roteadores que usam NAT de destino (em oposição a NAT de origem ou NAT bidirecional), solicitações de sua rede recebem automaticamente um número de porta alto, que é usado para mapeamento de conexão reversa - consulte Wikipedia para obter mais detalhes sobre o NAT em geral e esta pergunta do StackOverflow sobre como a porta de retorno é calculada.
As únicas exceções que eu conheço são um daemon NTP do Linux (existem vários e não me lembro qual).
Quanto ao aspecto de segurança, a porta 443 é uma das portas mais comuns verificadas, e você deve esperar algumas tentativas de exploração. Eu aconselho que você coloque algumas medidas de segurança no local (autenticação básica, por exemplo). Eu costumava executar meu próprio servidor Git por SSH em casa e acabava recebendo centenas de tentativas de conexão por dia de scanners de força bruta.