Você não pode desativar o daemon em uma interface. ACL é o caminho a percorrer. A filtragem deve ser feita no endereço de origem, não no destino.
Exemplo de configuração:
line vty 0 4
access-class secure_vty in
ipv6 access-class secure6_vty in
ip access-list standard secure_vty
permit 172.16.10.0 0.0.0.255
deny any
ipv6 access-list secure6_vty
deny ipv6 any any
Nesta configuração, 172.16.10.0/24
é a sua rede de gerenciamento onde você tem o seu NMS, e você não tem nenhum ipv6 no NMS, mas há alguns no switch, então ele deve estar protegido.
Certifique-se também de desativar o sshv1 que está ativado por padrão:
Router(config)# ip ssh version 2