Este é muito fácil de realizar.
Primeiro, certifique-se de que as duas máquinas estejam visíveis umas às outras na rede.
Se for esse o caso, vá para a visão geral de conexões de rede (adaptadores de rede) na Máquina A, clique com o botão direito do mouse em sua conexão de Internet (principalmente o adaptador de LAN) e escolha propriedades. Na segunda guia da janela de preferências, você pode marcar "Permitir que outros usuários da rede usem essa conexão como uma conexão com a Internet". Certifique-se de desativar a capacidade dos computadores remotos de alterar a conexão se você não quiser isso.
Em suma, deve ser isso.