Não no Windows Explorer. Você deseja usar o PowerShell ou um programa de terceiros, muitos dos quais são gratuitos. A renomeação em lote é bastante comum, então há muitas opções. Não há como alterar o formato da maneira de fazer o Windows Explorer.
Se você não se sentir à vontade com o PowerShell e não quiser baixar um vírus ou malware, vá em frente e recomende Irfanview . É um software de modificação de imagem muito popular e inclui a renomeação em lote em sua funcionalidade (Arquivo - > Conversão em lote / Renomear). Lá, você pode especificar o formato exato desejado para os arquivos renomeados. E o IrfanView (assim como seus plug-ins, se você decidir que gosta da parte de edição de imagens do software) é 100% gratuito.