{color ffff00}${exec xset q | grep "Caps Lock: on" | awk '{print }'}${color}
funciona para mim.
Por favor, note que ter muitos exec no seu Conky poderia aumentar a demanda dos recursos do sistema.
Além disso, a rapidez com que você vê "on" depende da frequência de atualização. Em outras palavras, isso dependerá do valor que você definiu. Eu atualizo a cada dois segundos:
update_interval 2.0
Você também pode querer posicionar onde "on" aparece, mas isso dependerá do resto do seu código Conky. Por exemplo, quais valores de gap_x e gap_y você definiu. Eu tenho o meu Conky mínimo no topo da tela e eu uso
gap_x 3
gap_y 4
junto com
${goto 500}
prefixado ao código real para que "on" apareça próximo ao centro superior da tela.