Um dos primeiros artigos que encontrei ao pesquisar on-line para nginx e brotli é este link . Isso meio que responde à sua pergunta - eu acho:
Browsers which supports brotli send ‘br’ along with ‘gzip’ in accept-encoding request header. If brotli is enabled on your web server, you will get response in brotli compressed format.
Isso significa para mim que, se o cliente suportar ambos, o brotli é preferido em relação ao gzip.
Observe também que "o Brotli ou o gzip não deve ser usado para arquivos binários como JPEG, PNG, MP4".