É mais provável que o gerenciador de arquivos ou o ambiente de desktop esteja "verificando" a unidade para indexação.
Você pode parar isso desmontando a unidade quando não estiver em uso e, em seguida, montando, fazendo backup, desmontando quando precisar fazer o backup.
Outra opção é usar ferramentas como o lsof para ver quais processos têm arquivos abertos na unidade. Mas isso pode ser muito imprevisível, pois o acesso que causa o despertar pode não ser mais do que um "Você ainda está aí?" do kernel.
Para usar o lsof e não enlouquecer:
lsof | grep / media / external
mudando o caminho para o seu ponto de montagem, é claro.
Eu realmente recomendo a desmontagem se você não quiser que a unidade esteja em uso.