Normalmente, você também precisa ativar a conexão USB no aparelho. Abra a barra de notificações na parte superior da tela e ative a conexão USB. Você não precisa de nenhum driver para isso com o Ubuntu, o USB já funciona bem.
Há também um site do Android Stack Exchange (como este) sobre aqui .