Teoricamente, eles poderiam, se você tiver o seu computador configurado para permitir o Remote Desktop ou o SSH, dependendo de qual deles você está perguntando.
No entanto, eles precisariam do seu endereço IP e do seu nome de usuário. A partir deste ponto, eles teriam que usar força bruta em seu sistema se você tiver a autenticação por senha ativada. Isso pode ser atenuado ativando a criptografia de chave em vez da autenticação de senha.
Então, sim, eles podem, mas se a sua máquina estiver executando as configurações padrão e você for cuidadoso, isso diminuirá bastante a possibilidade de sua máquina ser invadida.
O Basic Security Guide, Desktop Edition do Ubuntu é uma boa leitura para obter informações sobre como proteger sua máquina Ubuntu.