Por padrão, mame procura por ROMs nesses diretórios:
$HOME/mame/roms
/usr/local/share/games/mame/roms
/usr/share/games/mame/roms
Se você quiser alterar esse comportamento, edite o arquivo /etc/mame/mame.ini com direitos sudo e adicione o caminho desejado à linha rompath , e. g. para o seu caso:
rompath $HOME/mame/roms;/usr/local/share/games/mame/roms;/usr/share/games/mame/roms;$HOME/.mame/roms
Este arquivo também é a escolha certa para definir outras opções permanentemente, e. g. window 1 para o modo de janela ou mouse 1 para o suporte do mouse.