Não acredito que isso seja possível com o controlador de áudio padrão do Windows 7 [ver isto] . No entanto, plugins de terceiros, como o Volumouse ou o Volume2, podem dar passos menores.
O Volumouse é bastante básico e deve atender às suas necessidades, embora o Volume2 suporte recursos mais avançados, como a alteração da escala para logarítmica.