Bem, descobri que precisava incluir o H264 e depois consegui que funcionasse. Abaixo, o comando funciona, embora inclua parâmetros de vídeo, o que não é o que eu quero, mas conecta e transmite áudio.
ffmpeg -f dshow -re -i audio="Desktop Microphone (HD-3000 - Microsoft LifeCam.)" -c:v libx264 -profile:v baseline -level 3.0 -r 24 -g 48 -keyint_min 48 -sc_threshold 0 -vb 310k -c:a aac -ab 40k -ar 44100 -ac 2 -f rtsp -muxdelay 0.1 rtsp://wowza-ipaddress:1935/app-xxx/yyyyyy