Os termos CPU, processador e núcleo do processador são muito importantes em sua pergunta. O que você provavelmente pretende perguntar é, o que é o núcleo do processador que está realmente fazendo enquanto aguarda a memória.
Na maioria dos processadores Intel modernos, ele começa a executar outro ramo de instruções. Isso é chamado de hyper-threading.
Na maioria dos outros processadores, ele essencialmente gasta tempo em um estado de espera.