WordPress usa plugins que são muito fáceis de instalar para lidar com isso. Eu escolhi o SyntaxHighlighter para o meu blog porque era fácil de usar, suportava os idiomas que eu procurava e funcionava melhor. Você pode ir ao meu perfil para um link para o meu blog para ver alguns exemplos.
Este link compara um monte deles, alguns deles têm temas, etc., um deles deve funcionar para você. Normalmente, você usa apenas um tipo de tag em sua postagem como: [sourcecode lang = perl] print foo [/ sourcecode] e o plug-in cuida do resto.