Você precisa adicionar um 'caminho' à variável PATH, não um arquivo. Em outras palavras, você precisa adicionar o caminho ao diretório que contém o executável, não o caminho para o executável. Então, ao invés de:
export PATH=/opt/local/bin/port:$PATH
faça isso:
export PATH=/opt/local/bin/:$PATH
Depois de ter modificado o arquivo .zshrc, você precisa recarregar o arquivo fazendo o sourcing ou abrindo um novo shell para que a configuração tenha efeito.
Em uma nota lateral, o zsh tem uma sintaxe alternativa para anexar variáveis ambientais. Em vez da afirmação acima, você pode fazer:
export PATH+=('/opt/local/bin/')
Para ajudar a depurar o problema, você pode modificar o PATH e outras variáveis ambientais diretamente na linha de comando apenas para confirmar que você tem a sintaxe / caminho correta; essas configurações não persistem e só se aplicam ao shell atual. Depois de ter a sintaxe trabalhada corretamente, você pode adicioná-las ao arquivo .zshrc.