Sim, você pode (ou no caso do Cursive em breve poder) instalá-los.
O Clojure está disponível no repositório Universe, que deve ser ativado por padrão. A versão mais recente disponível é a 1.4, disponível em 13.10 e 14.04.
sudo apt-get install clojure1.4
12.04 tem a versão 1.2.
sudo apt-get install clojure1.2
A versão mais recente do Clojure é a 1.6. Se você realmente precisa da versão mais recente, faça o download de um binário em um arquivo jar , que você pode executar facilmente a partir do seu diretório pessoal. Ele também está disponível nos repositórios oficiais de 15.04 em diante .
O IntelliJ Idea é um produto comercial, mas a edição Community é gratuita. Mesmo que seja gratuito, ele precisa ser adquirido por meio do Centro de Software.
Uma nota de aviso, ao iniciar o IntelliJ, é provável que você veja uma mensagem de aviso dizendo que ele deve funcionar com o OpenJDK, mas que ele espera que o Oracle Java e o OpenJDK não sejam suportados.
De acordo com o site da Cursive , ainda não está disponível. Será também um produto comercial, mas dizem que funcionará com a edição da Comunidade IntelliJ.