Eu mesmo me deparei com esse problema ao instalar o Solaris 11.3 no VirtualBox.
A solução é pressionar Fn + F2 em vez de apenas F2 .
Em teclados com tecla FnLk ou FnLock , habilitar o Fn-lock ("bloqueio de função") fará com que as teclas de função se comportem como o instalador do Solaris espera, sem ter que pressionar Fn .
O macOS permite que você habilite o Fn-lock nas "Preferências do Sistema" em "Teclado".