Sim, é possível. Mas ainda há a opção: a menos que você seja um Man in the Middle (por exemplo, com o ARP Poisoning), sua interface de rede só receberá pacotes correspondentes ao seu endereço MAC. Os velhos tempos do hub, quando todos receberam todos os pacotes, já se foram há muito tempo.
Seu cenário, no entanto, só se aplica a redes domésticas. Em um data center (bem, basicamente, qualquer rede “corporativa” adequadamente protegida), por exemplo, os switches geralmente são configurados para impedir que você receba qualquer pacote que não seja direcionado a você. Você poderia ouvir tudo o que quiser - nada mais chegaria. E nada "ilegal" jamais sairia. É basicamente um mini-firewall do tipo.