Quais livros você escolhe dependerão de qual (is) distribuição (ões) você escolherá. Existem algumas boas referências gerais, mas uma distribuição e versão específica sempre terão mais detalhes.
Meu favorito pessoal é o Manual do Administrador da Debian - disponível em vários formatos gratuitos, ou versão impressa paga - link