% CD% obterá seu diretório de trabalho atual e você poderá usar o comando "Reg" em vez de um fragmento .reg:
Então, talvez algo como o seguinte funcione para você. Basta criar um arquivo .bat com o seguinte conteúdo:
REG ADD HKLM\System\CUrrentControlSet\Services\SeleniumRC\Parameters /v Application /t REG_SZ /d "C:\Program Files (x86)\Java\jre6\bin\java.exe"
REG ADD HKLM\System\CUrrentControlSet\Services\SeleniumRC\Parameters /v AppDirectory /t REG_SZ /d "%CD%"
REG ADD HKLM\System\CUrrentControlSet\Services\SeleniumRC\Parameters /v AppParameters /t REG_SZ /d "-Xrs -jar selenium-server-standalone-2.0b1.jar"
(obrigado @jscott pela dica)