Eu não acredito que você vai notar qualquer acerto no desempenho. Gravações de log provavelmente serão armazenadas em buffer e depois liberadas para o disco. Então, a menos que você tenha alta carga de disco, você ficará bem. Se você tem alta carga de disco do que provavelmente deseja mais memória (se este for apenas um servidor da Web), os dados da web são fornecidos a partir de um cache de memória.
O Nginx é programado com uma metodologia orientada a eventos, de modo que as gravações de log não devem bloquear a veiculação de páginas. Eu imagino servidores web threading / forking provavelmente usam um thread diferente ou processo para isso também.
Você também pode enviar logs para um host externo com syslog (ou talvez até usando uma diretiva Nginx).
Os User-Agents ajudam você a saber de onde vem o tráfego e o navegador. Bons rastreadores definirão um UA como "Googlebot" e os navegadores devem ser especificados no UA. Os IPs também ajudam a identificar as origens de tráfego. Você vai querer essa informação se você quiser alguma análise dos logs com algo como awstats.