Você provavelmente usa o Pinguy OS, certo? O Pinguy OS vem com algumas configurações do Compiz que exibem notificações do NotifyOSD para caps lock, num lock, etc.
De qualquer forma, mesmo que esse não seja o caso, é possível exibir o NotifyOSD por um período mais curto instalando o NotifyOSD corrigido pelo Leolik (por padrão, o NotifyOSD não suporta a configuração do tempo que a notificação é exibida ) usando os comandos abaixo:
sudo add-apt-repository ppa:leolik/leolik
sudo apt-get update
sudo apt-get upgrade
pkill notify-osd
Tanto quanto sei, o script para exibir as notificações do NotifyOSD para o caps lock tem um valor de tempo limite do NotifyOSD definido, portanto, não deve haver mais nada a fazer. No entanto, se você usar outra forma de exibir as notificações do NotifyOSD para o caps lock, verifique se o script usa "--expire-time = VALUE" para que a hora em que são exibidas seja menor que 10 segundos (padrão).
Para mais informações sobre o NotifyOSD corrigido, consulte: Bolhas configuráveis do NotifyOSD para o Ubuntu 11.04: Mover, fechar ao clicar, alterar cores e muito mais