Does that mean that RewriteEngineOn can be used multiple times within httpd.conf?
Sim, tudo bem.
I'm assuming that it can be but it must be placed within directory blocks.
Não, ele é válido em qualquer contexto de configuração e herdará para outros contextos. Portanto, se você o tiver habilitado no <VirtualHost> , não será necessário em <Directory> blocos dentro desse vhost. A única exceção é que ela não herda da configuração do servidor em <VirtualHost> (a consistência em como a configuração se aplica não é exatamente uma das forças do Apache).