O conceito é provavelmente defeituoso, dependendo de como você está tentando usá-lo.
O endereço MAC é o que é usado para comunicação no mesmo domínio de broadcast - assim, nos casos em que um nó está falando com outro na mesma sub-rede, o MAC de origem do pacote será realmente o MAC do nó de origem. No entanto, quando o tráfego é roteado, o MAC de origem é alterado conforme passa por cada segmento de rede.
Em termos práticos: se você está tentando permitir todo o tráfego de outro VPS no mesmo domínio de broadcast, isso deve funcionar (parece que o iptables está tendo problemas com o módulo MAC). Caso contrário, se o sistema de origem estiver fora da sub-rede (digamos, um dispositivo que você está usando para gerenciar o VPS), isso não é uma abordagem viável; o MAC de origem em todo o tráfego roteado da Internet será o roteador de primeiro salto do VPS.