SQL Service Packs, como os Service Packs do Windows, são cumulativos. Ou seja, eles substituem os mais antigos e têm todas as atualizações anteriores. Você só precisa instalar o SP4.
Além do SP4, você pode fazer Atualizações Cumulativas ou "CU's" que são "todas pequenas atualizações desde o último Service Pack". A maioria das pessoas só faz os Service Packs, que são mais exaustivamente testados do que as UCs.
isso pode ajudar você a entender a diferença entre os hotfixes, CU's, link
do SPA mais nova CU do SQL 2005 SP4: link