Quando seu servidor está desligado, seu roteador logo perde sua entrada na tabela ARP. O roteador conhece o IP para o qual o pacote mágico deve ir, mas não pode associar o endereço MAC. Você precisa definir a entrada ARP estática para fazê-lo funcionar (embora com uma interface administrativa muito limitada, isso pode ser impossível).
Você definiu IP interno estático para o servidor (que "conecta" IP e MAC), mas isso é para o servidor DHCP, não para a tabela ARP.
Normalmente, o pacote mágico é um quadro de transmissão. Quando você o usa na LAN, o roteador não precisa de uma entrada ARP para esse servidor específico que você quer acordar, ele apenas transmite o pacote. Os pacotes de transmissão geralmente não são roteados (como afirma a resposta de Steven ), é por isso que você envia um pacote unicast e define o encaminhamento de porta. Este pacote, no entanto, precisa de uma entrada ARP válida no seu roteador.