Quase todas as ferramentas Unix aceitam uma lista de arquivos como argumentos não opcionais. Como de costume, os diferentes argumentos precisam ser separados por espaço:
chown 644 one two three
No seu segundo exemplo, se você estiver usando o Bash, um simples
chown -R 644 !(cache)
será o suficiente.
Essa abordagem exige correspondência estendida de padrões. Se estiver desativado, você pode ativá-lo com
shopt -s extglob
Veja: Manual de Referência da Bash # Correspondência de Padrões