Você não precisa da opção delims, pois o padrão é espaço, que é o que a consulta reg está retornando. Ao fazer um arquivo bat para este loop e registro em uma chave que estou mexendo eu recebo o eco correto, para minha instância, o valor "vermelho" da cor de fundo RGB é 55:
for /f "tokens=3" %%a in ('reg query "HKCU\Control Panel\Colors" /V Background ^|findstr /ri "REG_SZ"') do echo %%a