Se você estiver atualizando as variáveis de ambiente do Windows, será possível reiniciar a janela do cygwin e ver o ambiente atualizado.
Como alternativa, você pode usar variáveis de ambiente do Cygwin como:
export TEST_VARIABLE=value
Agora o $ TEST_VARIABLE irá "valorizar" você pode confirmar isso por:
echo $TEST_VARIABLE
value
Isso deve mostrar a saída acima.