Portátil, neste contexto, significa que você não precisa de nenhum procedimento de instalação especial. Você pode apenas descompactar o arquivo em uma unidade USB (caso típico) e executá-lo de lá. O oposto de portável seria um programa que precisa de alguns arquivos para estar em um local específico na hierarquia do sistema de arquivos, que requer entradas de registro, etc.
A propósito, todas as necessidades do git são um local para armazenar checkouts e repositórios. Variáveis de ambiente automatizam algumas tarefas, mas elas não são necessárias para operação básica, você pode usar argumentos de linha de comando, e pode configurá-los para uma única sessão de terminal, se quiser usá-los. Então eles não afetam a portabilidade.