Não, você não RAID o ESP em várias unidades. Isso resultará em uma instalação com falha (não inicializável). Basta tratar a Partição do Sistema EFI (ESP) como se fosse a partição da Área de Inicialização do BIOS Reservada - crie-a primeiro em qualquer uma das unidades da matriz RAID em potencial, apenas não a crie em nenhuma das outras unidades. Quando chegar a hora de criar o swap e o ext4 (ou o que flutua no seu barco), cada unidade perderá o espaço que o ESP ocupa nesse primeiro disco, então no meu caso eu perdi 500MB por unidade - já que as partições RAID devem ser as mesmas tamanho, se eu tirar 500MB de / para usar para o ESP, eu reduzo o tamanho dessa partição em 500MB, o que significa que os equivalentes da partição em outras unidades também perdem 500MB, a única diferença é que os 500MB nas outras unidades não são usados para qualquer coisa, desde o ESP é apenas nessa primeira unidade. Eu só tenho uma outra unidade, então não é ruim.
EDIT: Isso se aplica ao RAID0 e RAID1.