Os caminhos em $PATH são pesquisados em ordem. Isso permite que você substitua um padrão do sistema com:
export PATH=$HOME/bin:$PATH
$HOME/bin agora é o caminho primeiro (prioridade mais alta). Você fez o contrário, tornando o caminho último (prioridade mais baixa). Quando o shell procura, ele usa a primeira correspondência encontrada.
Caso não esteja claro, tudo isso funciona ao concatenar strings. Uma analogia:
WORD=bar
WORD=foo$WORD
$WORD agora é foobar . O : usado com $PATH é literal, o que você pode ver com echo $PATH .