Você veria o diretório usr se seu diretório atual for / . Seu diretório pessoal, abreviado como ~ , provavelmente não é o diretório raiz, mas algo como /home/adam .
Quando você chama cd /usr , está usando um caminho absoluto, conforme indicado pela barra inicial. Esta chamada se comporta da mesma maneira, onde quer que você a execute.
Quando você chamar cd usr , informe cd para alterar o diretório usr que está no diretório de trabalho atual. Por ser relativo, ele se comporta de maneira diferente em todos os diretórios.
ls -a (e amigos) sem mais argumentos (ou argumentos sem barra) também funcionam em relação ao diretório de trabalho atual.
Você pode ver o caminho completo do diretório de trabalho atual com o comando pwd .