Provavelmente não é possível, consulte discussions.apple.com/thread/964383
Os Macs usam o formato ICNS para os ícones, não o GIF, por isso, basta converter a imagem principal no GIF para o ICNS. O ICNS permite vários estados de imagem, mas acredito que seja necessário um código específico no aplicativo para animar itens para notificações de documentos ou o que quer que seja (o adium messenger, por exemplo, tem o ícone de pato aberto quando você recebe um novo IM). O próprio Mac OS pode exibir vários estados para pastas abertas ou fechadas.