Você pode usar o sinal -r
para tar para anexar um arquivo a um arquivo existente. Como é legal anexar a um arquivo vazio ou inexistente, você pode modificar a instrução em loop para ser algo como
$MYSQLDUMP --force --opt --user=$MYSQL_USER -p$MYSQL_PASSWORD --databases $db > "$BACKUP_DIR/mysql/$db"
tar rvf /path/to/tar.file "$BACKUP_DIR/mysql/$db" && rm "$BACKUP_DIR/mysql/$db"
O arquivo terá que existir temporariamente, já que ele precisa ter um nome de arquivo dentro do índice tar para propósitos de extração (se você enviou todos os arquivos para ele via pipe, pense em como eles podem extrair) - mas você não Não é necessário coletá-los todos juntos, depois juntá-los.