Acredito que você precisaria de um software separado para sincronizar apenas seus contatos sem deixar seus e-mails e anotações facilmente acessíveis.
Se possível, usaria apenas outra conta no trabalho; contas pessoais têm uma péssima reputação por problemas no local de trabalho.
É fácil exportar seus contatos de sua conta do Gmail e importá-los para outra conta ( link ) e [se necessário] você pode configurar seu dispositivo pessoal para sincronizar com sua conta de trabalho [em vez do contrário]