Acho que você não instalou o Ubuntu, acabou de baixar o ISO. Você não costuma abrir arquivos .iso, você precisa gravá-los em uma unidade USB. Para fazer isso, eu recomendo Etcher. É compatível com o Mac OS X (que você provavelmente está usando). Você precisará de um drive USB de 2 GB para colocar o ISO do Ubuntu nele, mas eu usaria um de 4 GB para espaço extra.
1. Faça o download de Etcher e grave o ISO no Flash Drive
Faça o download do Etcher e abra-o. Você será saudado com sua GUI. Basta clicar no botão "Selecionar Imagem" e navegar no seu sistema de arquivos e clicar no ISO que você deseja gravar (Ubuntu).
Em seguida, selecione o Drive em que você deseja gravá-lo. Ele deve ser selecionado como seu USB, se não, conecte o dispositivo USB onde você deseja gravá-lo. (Isso apagará TODOS os dados da unidade, então faça backup dos seus dados, se tiver algum!)
Agora, basta clicar no botão "Flash!" botão e aguarde. Depois de alguns minutos, deve mostrar "Flash concluído!" e você pode fechar o programa.
2. Inicialize na unidade USB
Reinicialize sua máquina e segure Alt durante o processo de inicialização, logo após ouvir o som de inicialização do Mac. Agora ele deve mostrar "EFI Boot" (deve ser a opção mais correta) Agora basta pressionar "Enter" na tela que mostra o GRUB.
3. Instalar o Ubuntu
Agora basta clicar no ícone "Instalar o Ubuntu 16.04.4 LTS" na área de trabalho. Siga as instruções na tela. Há um passo que te pergunta onde instalar o Ubuntu. Você pode dual boot OS X ou substituí-lo inteiramente, como mostra na tela. Se você optar por substituí-lo, ALL seus dados serão removidos do seu disco, o que o deixará apenas com o Ubuntu instalado. Se você for fazer isso, Faça backup dos seus dados no OS X e restaure-os depois!
4. Aproveite!
Agora aproveite seu sistema recém-instalado. Eu também queria dizer que, se você quiser instalar drivers NVIDIA proprietários, você deve tentar este artigo. (se você usa EFI, o que provavelmente usa). Se você não fizer essa solução alternativa, provavelmente estará recebendo uma tela preta após o X iniciar. No meu caso, funcionou. Mas faça isso por sua conta e risco!