Para responder à sua pergunta diretamente: Não é assim que as VLANs devem se comportar. Parece que seu switch não está funcionando corretamente, tem uma numeração de porta engraçada ou não está configurado como você declarou.
O comportamento que você está descrevendo funcionaria dessa maneira em uma única vlan.
Documento decente mostrando vlans da Cisco: link