Ignorar vários diretórios pode ser feito usando a vista antecipada positiva. Este regex ignora os diretórios "irrelevantes" e "desnecessários":
grive --ignore '(?=^irrelevant$)|(?=^unnecessary$)'
O comando dry-run que usei para testar:
grive --dry-run --verbose --ignore '(?=^irrelevant$)|(?=^unnecessary$)' > output.txt 2>&1
Os diretórios 'irrelevantes' e 'desnecessários' foram ignorados enquanto o arquivo 'irrelevant1' não foi. Espero que isso funcione para você.
Atualização (a partir de 2017-04-01): a versão mais recente do grive2 introduziu .griveignore que é sintaticamente próximo a .gitignore.