Não há como distinguir uma imagem de vídeo de um gráfico normal, então não, não há uma maneira geral de detectar se um vídeo está sendo reproduzido ou não, se a renderização do vídeo for feita em software.
O propósito de ioctl s é se comunicar com os drivers do kernel. Isso não tem nada a ver com a sua pergunta.