Você pode aplicar uma ACL apenas ao acesso de gerenciamento. Por exemplo:
! replace x.x.x.x with the IP to permit
access-list 1 permit host x.x.x.x
! some switches range from 0 to 15 instead of 0 to 4, adjust as necessary
line vty 0 4
access-class 1 in
Isso aplica a lista de acesso padrão 1 a apenas o acesso de entrada em terminais virtuais (que inclui o acesso de telnet e ssh), independentemente da VLAN. Você pode usar um access-list
mais sofisticado, se necessário. Chopper3 forneceu um bom elo para isso.