Permitir o acesso a /dev/mem por processos sem privilégios seria de fato um problema de segurança e não deveria ser permitido.
No meu sistema, ls -l /dev/mem é assim:
crw-r----- 1 root kmem 1, 1 Sep 8 10:12 /dev/mem
Portanto, root pode ler e escrever, membros do grupo kmem (dos quais não há nenhum) podem lê-lo, mas não escrevê-lo, e todos os outros não conseguem abri-lo. Então, isso deve ser seguro.
Se o seu /dev/mem é parecido com o meu, seu processo sem privilégios não deveria ter sido capaz de abrir o arquivo, muito menos mmap it.
Verifique as permissões de /dev/mem no seu sistema para se certificar de que estão seguras!