A resposta depende de quantos anos o iMac é. Se o iMac tiver portas Thunderbolt, poderá haver um caminho. Se o iMac não tiver portas Thunderbolt, a resposta é não. Não há como usar esse iMac como monitor para o Mac-Mini executando o Mac OSX.
Você pode usar o VNC para se conectar ao Mac-Mini pela sua rede interna.