Eu não sou usuário de FvwmButtons - gosto de um desktop minimalista com tudo em menus pop-up - mas posso citar a man page;)
Swallow [(flags)] hangon command
Causes FvwmButtons to execute command, and when a window with a name, class or resource matching hangon appears, it is captured and swallowed into this button. The hangon string may contain wildcard characters ('*') that match any substring [...] If no matching window is found, the "Exec" command creates one.
Então, eu diria que, por exemplo,
Swallow xterm 'Exec xterm &'
Fará exatamente isso. É um pouco ambíguo se o comando é sempre executado, ou apenas quando hangon não corresponde a nenhuma janela existente, mas a experimentação deve resolver isso.
Tenha em mente que os nomes, classes e recursos do X windows nem sempre são óbvios - espero que a correspondência inclua o que você vê na barra de título, mas isso pode não ser tão simples. Colocar a sequência hangon em curingas (por exemplo, Swallow *xterm* ) provavelmente ajudará.