Então, isso foi realmente estúpido. Como eu não consegui encontrar nada sobre types_hash_bucket_size / types_hash_max_size nos documentos, percebi que os nomes das variáveis estavam errados e deveriam ser server_names_hash_bucket_size / server_names_hash_max_size, que são mencionados no wiki. Eu estava errado, os nomes das variáveis estavam certos e, depois de aumentá-los, tudo voltou ao normal.