Instale scim e scim-anthy . Também skim se você usar o KDE.
A configuração padrão é bastante sensata, e depois de reiniciar qualquer aplicativo GTK em execução, você deve ter um ícone de teclado na bandeja.
Não me lembro das configurações padrão, mas normalmente é alternado para o modo Anthy com uma combinação de teclas. Se você tiver um teclado japonês, ele suportará a tecla Zenkaku por padrão. Você pode alterar a configuração clicando com o botão direito do mouse no ícone da nova bandeja ou na chave na barra de ferramentas do IME ou executando o comando scim-setup