Depois de algumas tentativas de código, também não consegui encontrar uma maneira e ler os documentos, não acho que seja possível. Aqui está algo interessante da propriedade label
:
O rótulo não será exibido, a menos que também haja um ícone.
Portanto, se houver uma maneira de desativar o ícone, ele nem mostrará o marcador.