No Ubuntu, a chave backtick é uma tecla modificadora para caracteres estendidos: backtick + e = è etc. Dois backticks dão um backtick por si só.
É bem provável que o aplicativo Java não esteja interpretando a entrada do teclado de caracteres duplos como um todo, mas considerando cada caractere separadamente.
Você pode achar necessário criar um mapa de teclado personalizado (ou modificar o mapa sueco). Não tenho certeza de como você faria isso no Ubuntu.