Tenho certeza que isso não é possível sem modificações na fonte do plugin pulseaudio x11-bell (ou talvez compiz, que pode ser o seu gerenciador de janelas). Se configurado corretamente antes da compilação, o xterm toca a campainha através do XkbBell (3), que passa a tela e a janela para qualquer programa que esteja ouvindo os eventos XkbBellNotify. Se configurado diferentemente, o xterm usa XBell (3) que não passa esta informação.
Infelizmente , mesmo que o xterm esteja configurado corretamente, tanto pulseaudio quanto compiz descartam as informações de exibição e janela (pulseaudio usa apenas as informações de porcentagem para definir o volume).