Não acredito que o Windows Subsystem para Linux suporte a alteração do cursor no terminal padrão. Se você quiser usar um tipo de cursor diferente ou um terminal mais avançado, será necessário substituí-lo.
Acredito que o link seria a maneira mais fácil de obter um novo terminal para a WSL. Ele roda internamente que suporta um estilo de cursor diferente. Se você não deseja instalá-lo, você deve ser capaz de instalar o terminal wsl mintty diretamente com link