Consegui resolver isso.
Consegui EFI inicializar o Mac Mini por meio do cartão SD, mas ele continuou falhando na instalação do cdrom. Eu criei outra mídia de instalação em um pendrive e montei isso no / cdrom.
Quando o instalador "viu" a mídia de instalação, ele pode continuar. Agora eu tenho um Mac Mini somente para Ubuntu que inicializa perfeitamente.