Abra o editor de registro, RegEdit, e procure o nome de usuário que você deseja efetuar logout. Você pode encontrá-lo em uma pasta aqui:
Computer\HKEY_CURRENT_USER\Software\Microsoft\Office.0\Common\Identity\Identities
Exclua a pasta e, na próxima vez que tentar acessar os arquivos do OneDrive, você será solicitado a fornecer credenciais. Você pode querer ajustar o valor do campo "Persisted". Eu encontrei o meu foi definido como 1.