Porque -a e -b começam com - , o comando acha que são opções. Para evitar que cole um -- antes da lista de nomes de arquivos como este:
convmv -f ENCODING -t utf8 --notest -- *
Dessa forma, tudo após -- será tratado como argumentos regulares sem tentar processá-los como opções.
Isso é comum em muitos comandos unix.