Você pode experimentar um pacote de codecs como Sharky , já que isso provou ser uma solução para algumas pessoas.
Você pode tentar adicionar outros softwares como Twonky ou PS3 Media Servidor (não, você não precisa de um PS3) e usar isso para transmitir seus arquivos MKV. O VLC também pode funcionar para transmitir mídia.
Você também pode olhar mais de perto se deseja ou não usar arquivos MKV, e pode convertê-los para um formato que o WHS reconheça. VideoHelp é uma ótima fonte de informações sobre isso.