Se você fechar o aplicativo da área de trabalho, o aplicativo do Windows 8 deverá notificá-lo como esperado.
O Skype é um pouco estranho, faz o mesmo com o cliente iOS. Se eu receber uma mensagem no aplicativo para iOS enquanto ele estiver aberto, o aplicativo do Skype para Windows 8 não enviará uma notificação.
Parece que, assim que um de seus aplicativos conectados define a mensagem como "lida", desativa outras notificações para outros clientes, e esses clientes não baixam as mensagens até você abri-las e esperar que elas cheguem.
Em suma, o Skype em geral tem problemas com notificações.