Sim, você precisará reiniciar o nginx para usar seus novos certificados.
Não tenho certeza sobre o sinal SIGHUP, mas você pode tentar com facilidade:)
Depois de atualizar as chaves SSL que uso para o Nginx para servir HTTPS, devo reiniciar o Nginx? É o suficiente para enviar sinal SIGHUP?
Sim, você precisará reiniciar o nginx para usar seus novos certificados.
Não tenho certeza sobre o sinal SIGHUP, mas você pode tentar com facilidade:)