O comentário do Yeti funcionará para você, mas se você quiser saber o porquê, é porque os parênteses são interpretados como caracteres especiais, e também devem ser escapados com \ ou o nome do arquivo inteiro citado (como acima) [editar: desculpe, apenas o (e) precisa ser citado].
Se você tiver a conclusão da tabulação ativada, basta digitar os primeiros caracteres do nome do arquivo e clicar na guia. Ou seja, digitando mv old e aba, deve se transformar em mv old.file\(1\).gz (a menos que existam outros arquivos potenciais que old* possa referir).