O desktop Zimbra pode fazer o que você quiser.
"O cliente Zimbra Desktop gratuito permite que você combine os mundos on-line e off-line - armazenando e sincronizando seus e-mails, calendários, contatos, arquivos e documentos na nuvem, além de tê-los acessíveis localmente quando estiver em trânsito. O desktop agrega informações entre contas (Zimbra, Yahoo! Mail, Gmail, Hotmail, etc.) e redes sociais (Facebook, Digg, Twitter, etc.) para ajudar a tornar as informações de compartilhamento e comunicação mais fáceis do que nunca. "
Para o e-mail IMAP com o Gmail, o Roundcube recebe muitas menções, mas não ajuda no calendário nem no seu catálogo de endereços. Eu já joguei com o aplicativo no passado e parece muito bom.
Enquanto eu estava verificando outra possibilidade, me deparei com o GMDesk - não tenho certeza se ele faz o que você quer, mas apenas no caso de ser de interesse: