Não tenho certeza de que o que você está tentando alcançar funcionará com as VLANs de gerenciamento, mas deixando isso de lado. O motivo pelo qual você pode ver todos os outros computadores é que suspeito que seus computadores não estejam configurados para enviar pacotes marcados. enviando pacotes não marcados.
Nesse caso, a VLAN a que os pacotes são atribuídos será baseada no PVID da porta à qual estão conectados. Observe que isso é diferente de quais VLANs a porta é membro. A maioria dos switches tem páginas de configuração diferentes para associação e PVID
Sem saber com qual switch você está conectado, não posso comentar exatamente como você precisa configurá-lo, mas veja se você pode ver uma configuração para o PVID para as portas e verifique se ele está configurado para a VLAN desejada. Isso restringirá o tráfego conforme necessário.