A ordem de colocação da opção é importante. Você precisa mover -f x11grab
antes do -i
apropriado:
ffmpeg -y -f alsa -i hw:0 -f x11grab -framerate 30 -video_size 1600x900 -i :0.0+0,0 -c:v libx264 -pix_fmt yuv420p -qp 0 -preset ultrafast moetoVideo.avi