Acho que o caminho mais fácil seria simplesmente instalar um segundo disco rígido no computador, para uso exclusivo do Ubuntu.
O problema é que o OpenSolaris usa o sistema de arquivos ZFS por padrão e, até onde eu sei, não há ferramentas de edição de partições que saibam como redimensionar uma partição ZFS em tempo real. O ZFS em si é um sistema de arquivos muito dinâmico, mas é mais adequado para dividir pools existentes do ZFS em vários pontos de montagem ou assumir novos discos / volumes ao adicioná-los ao pool. Não acredito que o ZFS saiba como abrir mão de parte de um disco em que está.
Se a instalação de uma segunda unidade para o Ubuntu estiver fora de questão, sua segunda melhor opção é provavelmente fazer backup da instalação do OpenSolaris e reconstruir tudo. Você poderia encarar isso como uma oportunidade para experimentar o OpenIndiana ou outro dos garfos pós-OpenSolaris.