Acontece que eu só preciso especificar -draw_mouse 0
na linha de comando do FFmpeg. Um bom amigo meu me diz que o x11grab fica em uma camada abaixo do Xvfb, então enquanto o cursor não estiver desenhado no buffer de quadros, o x11grab irá desenhá-lo.