Não, não há detrimento em usar um processador AMD (CPU) com uma GPU Nvidia. Como Ramhound mencionou em seu comentário, existem padrões para intercomunicação entre dispositivos.
Você pode ter problemas relacionados ao driver ao usar 2 diferentes GPUs no mesmo computador, em alguns casos.