Sua expressão regular não corresponde ao padrão em seu nome de arquivo. Para corresponder a pelo menos um dígito, você precisa usar [0-9]+ (você também pode usar \d para corresponder aos dígitos); seu padrão corresponderá a apenas 1 dígito. Seu nome de arquivo de exemplo não possui espaços em torno de - , mas você os tem no padrão. E você não está fazendo nada para remover o ] no final. Experimente:
rename 's/Galaxy\d+-\[(.*)\].*/$1/' Galaxy*