Algo como o Firefox portátil na unidade pode funcionar, mas acho que cabe ao aplicativo (ou seja, um aplicativo que apenas checa cookies podem funcionar, mas um aplicativo que verifica por endereço IP também provavelmente não irá).
É possível armazenar os detalhes de uma Conta do Google / OpenID em uma unidade USB para que, em vez de digitar os detalhes, você possa simplesmente conectar a unidade USB. Sem qualquer modificação no navegador. Eu uso muito computadores diferentes, e não posso ficar incomodado em continuar digitando meus detalhes (não posso ter computadores aleatórios com meus dados mantidos logados).
Algo como o Firefox portátil na unidade pode funcionar, mas acho que cabe ao aplicativo (ou seja, um aplicativo que apenas checa cookies podem funcionar, mas um aplicativo que verifica por endereço IP também provavelmente não irá).
A melhor maneira de manter seus logins (incl. OpenIDs) seguros em sua unidade é usar Firefox Portable em conjunto com o KeePass Portable .
(Com isso quero dizer usar o Firefox Portable, mas desabilite seu gerenciador de senhas e use o keepass para esse propósito.)
Tanto quanto eu sei - isso não é possível.
O mais próximo que posso pensar é que você sempre pode usar o Apache ou qualquer servidor web e instalar um serviço OpenID nele, então ter isso como um provedor OpenID - você teria que usar algo como DynDNS para se certificar de que o O registro DNS é o mesmo (lembre-se, eu não sou um especialista em OpenID, talvez isso não seja obrigatório) - mas você ainda precisa garantir que o firewall de onde você estiver permite conexões de entrada para onde você está executando o servidor web.
... E, depois de reler, acho que errei toda a sua pergunta - se você quiser apenas usar senhas, recomendo KeePass
O provedor OpenID meramente autentica, o próprio aplicativo (site) define um cookie. Você não pode "salvar" o login do OpenID.