Uma solução de software para isso não é trivial. O iMac funciona como exibição usando o Modo de exibição de destino. Isso esconde a saída de vídeo do iMac, enquanto mantém o sistema em execução, e o sinal que você coloca na entrada do iMac é passado diretamente para a tela do iMac.
Para fazer o que você quer fazer, você precisará de uma placa de captura externa. A melhor maneira de capturar nativamente em seu Mac seria algo como a Intensidade Blackmagic:
O modelo principal é uma versão PCI Express, então você precisa de um Mac Pro ou Hackintosh para usá-lo no OS X. Há uma versão Thunderbolt se você puder usá-la, e a versão USB é apenas 3.0, então não trabalhe em qualquer Mac.
Uma alternativa é algo como o Hauppauge HD PVR que pode usar USB 2.0: