O conteúdo de um índice não faz parte do backup, apenas a definição do índice. E isso levará apenas alguns bytes. Quando o índice é criado durante a restauração e todos os dados são indexados, ele será muito maior. Isso levará tempo, mas depende da sua situação quanto tempo.
pg_restore tem uma opção para restauração simultânea (a partir da versão 8.4), use --jobs=number-of-jobs