Se os dois computadores estiverem na mesma LAN, sim.
Se eles não estão na mesma comunicação da LAN, passa por um roteador ou ponte. Nesse caso, A precisa saber o MAC do roteador (ou ponte) que encaminhará o tráfego para B.
Em ambos os casos, o protocolo ARP é usado por A para determinar o endereço MAC do destino.
Basicamente (muito simplificado), esta é uma transmissão para todos os computadores na rede local solicitando que o alvo solicitado responda.
O alvo responderá com uma mensagem "Estou aqui" e A poderá aprender o endereço MAC a partir dessa resposta (porque o MAC de destino está nessa mensagem como endereço MAC de origem).
Para detalhes completos, como isso funciona no protocolo ARP do Google.