Você deseja mover apenas os arquivos e não os diretórios nem os arquivos nos diretórios. Você pode usar o comando find com ~ (= home) como argumento e também usar maxdepth 1 (pesquisa apenas o diretório pai) e type f (arquivo). O resultado (todos os arquivos no diretório fornecido) é canalizado para xargs (a opção -0 é ignorar significados especiais de alguns caracteres) que executa o movimento . mv -t TargetDirectory move a entrada que foi produzida pelo comando find para TargetDirectory.
find ~ -maxdepth 1 -type f -print0 | xargs -0 mv -t Path/To/Target/Directory