Seu comando funciona para mim, se hdf5_classification estiver no diretório de nível superior do repo.
Na página de manual do git-config:
Note that shell commands will be executed from the
top-level directory of a repository, which may not necessarily be
the current directory.
Eu suspeito que o comando que você quer é:
git config alias.up 'commit -m "update" -- hdf5_classification/output'
que executa git commit no diretório atual, porque não é um comando shell (porque ele não inicia com "!").
Nota: você está usando aspas simples dentro de aspas simples em seu comando, o que acontece de funcionar, mas não está fazendo o que você pensa que está fazendo, eu acho: -)