Não como um processador "comum" ou RAM, não.
A RAM de vídeo dedicada não está no mesmo espaço de endereço físico da sua RAM regular e, portanto, não pode ser acessada diretamente pelo processador.
Quanto à GPU, a GPU não executa o mesmo conjunto de instruções da sua CPU (se ela não fosse uma GPU particularmente rápida), o código de programas comuns não pode ser executado nela. Como Ramhound indicou, há programas que fazem chamadas específicas do sistema que aproveitam sua GPU; existem até programas (tipicamente coisas como editores de vídeo, renderizadores CGI, etc.) que fornecem seu próprio código para rodar na GPU. Mas cada programa tem que ser especialmente codificado para fazer isso. Se o programa fornecer seu próprio código para a GPU, isso terá que ser diferente para cada família de GPUs - por exemplo, o código que explora o PhysX da nVidia não será executado nas GPUs da AMD.