Para completar a resposta de David, um switch aprende quem está por trás de uma porta, observando os endereços MAC dos pacotes recebidos nessa porta. Quando o interruptor está ligado, não sabe nada. Quando o dispositivo A envia um pacote da porta 1 para o dispositivo B, o switch aprende que o dispositivo A está atrás da porta 1 e envia o pacote para todas as portas. Quando o dispositivo B responde a A da porta 2, o switch envia apenas o pacote na porta 1.
Esse relacionamento MAC para porta é armazenado em uma tabela no comutador. É claro que muitos dispositivos podem estar por trás de uma única porta (se um switch estiver conectado à porta como exemplo), portanto, pode haver muitos endereços MAC associados a uma única porta.
Esse algoritmo quebra quando a tabela não é grande o suficiente para armazenar todos os relacionamentos (memória insuficiente no switch). Nesse caso, o switch perde informações e começa a enviar pacotes para todas as portas. Isso pode ser feito facilmente (agora você sabe como hackear sua rede) forjando muitos pacotes com MAC diferente de uma única porta. Isso também pode ser feito forjando um pacote com o MAC do dispositivo que você deseja espionar, e o switch começará a enviar o tráfego para esse dispositivo.
Os switches gerenciados podem ser configurados para aceitar um único MAC de uma porta (ou um número fixo). Se mais MACs forem encontrados nessa porta, o switch pode desligar a porta para proteger a rede ou enviar uma mensagem de log para o administrador.
EDITAR:
Sobre o tráfego do youtube, o algoritmo descrito acima só funciona no tráfego unicast. A transmissão Ethernet (ARP como um exemplo) e o multicast IP (usado às vezes para streaming) são tratados de maneira diferente. Não sei se o youtube usa multicast, mas pode ser um caso em que você pode detectar o tráfego que não pertence a você.
Sobre o tráfego da página da web, isso é estranho, pois o handshake TCP deve ter configurado o MAC para a tabela de portas corretamente. A topologia de rede coloca em cascata muitos switches muito baratos com pequenas tabelas que estão sempre cheias ou alguém está mexendo com a rede.