Não sei por que você não quer usar uma construção de loop; esse é um dos principais recursos do PS. Um simples:
Import-CSV FileName.csv | ForEach {Add-DistributionGroupMember -Identity "GROUP-NAME" -Member $_.Name}
faria facilmente o truque. Na falta disso, porém, não há cmdlet para fazer exatamente o que você deseja. Você poderia fazer um
Remove-DistributionGroup GROUP-NAME; New-DistributionGroup -Name GROUP-NAME -Members memberlist
mas isso é um pouco brega.