Não há uma resposta única para cada servidor, mas sim - essa é a intenção de fazer logout.
Quando eu faço login em um site, uma sessão ativa é criada no servidor e meu navegador mantém seu estado "logado" enviando o identificador dessa sessão para o servidor em cada solicitação.
O problema com essa abordagem é que as pessoas podem roubar seus cookies (por cookie sniffing). A questão é, logar realmente matar o cookie do lado do servidor ou não?
Eu acho que isso depende do servidor, bem como a linguagem do lado do servidor. Então, por exemplo, terminar uma sessão em PHP no Apache realmente torna o identificador de sessão inválido?
Não há uma resposta única para cada servidor, mas sim - essa é a intenção de fazer logout.
Isso dependerá do código do lado do servidor, mas infelizmente foi minha experiência que raramente os desenvolvedores farão a "coisa certa", a menos que seja a coisa mais fácil.