Desta forma:
Set /a 4+2
Ou para armazená-lo em uma variável para mais tarde:
Set /a foo = 4+2
echo %foo%
E para responder à sua última linha, há uma boa chance de você estar empurrando o lote um pouco além do planejado. O host do Windows Script está disponível em sua máquina e permitiria o VBScript ou o JScript. Além disso, se você quiser aprender algo novo, eu sugiro usar o Powershell.