Isso depende da topografia do hardware e da rede - não sei de um limite teórico (salvo para todos os máximos possíveis), mas o limite prático pode ser tão baixo quanto baixo, devido a tamanhos de tabela em switches, roteadores e outros dispositivos e, possivelmente, também o impacto de responder a transmissões.
A próxima questão será como obter esses muitos macs - deve ser possível defini-los simultaneamente em um único nic - como isso é o que as máquinas virtuais fazem. Da mesma forma, você poderá colocar um número razoável de placas de rede (por exemplo, várias placas de porta quádrupla) e amplificar cada uma delas com a troca de VLAN para trocar portas, dependendo de como você deseja definir os limites da pergunta.
Praticamente, porém, id sugerir em algum lugar 50 macs sendo um limite prático realista (mas nem de perto absoluto).