Você não pode converter um VMDK (uma imagem do disco rígido) para um iso - uma imagem de cd - além disso, como um cd e um boot de hardrive são diferentes. Você pode inicializar o linux em um .img (um tipo de disco rígido genérico) ou em um vhd (um variante de imagem do disco rígido).
Para converter entre tipos de imagem, sua melhor aposta é o qemu-img com qemu - mas eu duvido seriamente que você possa fazer o que você quer fazer.
Alternativamente, eu SUPORIo que você poderia fazer uma imagem DMG com cloner de cópia de carbono, e fazer algo com a ferramenta de disco do OS X, mas você pode fazer uma reinstalação completa se tiver uma cópia do OS X.