Tenho certeza de que os drivers da Nvidia ignoram o sistema X quase que totalmente, de maneira semelhante aos drivers do Mesa que usam DRI .
Você poderá medir a sobrecarga do X11 (se houver) quando a Nvidia começar a suportar o Wayland em seus drivers .