Provavelmente existem várias maneiras de fazer isso, mas presumo que você tenha o WinRar instalado em seu computador, então:
Start Winrar
Tools > Convert Archive (or Alt + Q)
Add the folder where the files you want to convert are (this will parse through and add all archives you have specified in the checkbox area)
Click Compression
Choose Archive Format: RAR or ZIP
OK