A partir da Requisitos do cRARk página:
Only NVIDIA cards with computing capability 1.1 and up is supported. (Thus, GeForce 8800 is not)
Se uma 8800GT não for suportada, também não esperaria que uma 8600GTM fosse suportada.
É difícil dizer se qualquer dado cartão suporta o conjunto completo CUDA, GPU-z é uma ferramenta que pode dizer você, basta passar o mouse sobre o "CUDA" na linha inferior para ver o seguinte:
Caso contrário, pode ser simplesmente que a sua placa gráfica (como o erro sugere) não tenha memória suficiente.