Você pode dar o aplicativo que está usando? A comunidade não poderá diagnosticar corretamente seu problema, pois pode não ser um problema do Android.
Em uma nota separada, quando o "Permitir depuração USB?" caixa de diálogo aparece no seu dispositivo, abaixo da impressão digital RSA deve ser uma caixa de seleção que diz "Permitir sempre a partir deste computador." Verificar isso antes de continuar deve impedir que você tenha que confirmar cada vez, embora eu espere um problema de software diferente aqui.