Isso depende do seu terminal.
urxvt
tem uma interface de plugins que permite esse tipo de interação. Um dos plug-ins padrão fornece URLs clicáveis diretamente no terminal. Esses plugins são scripts Perl, e certamente estaria no escopo fazer algo próximo do que você quer.
É fácil permitir que caminhos totalmente especificados sejam abertos com o aplicativo padrão do WM.
Mais difícil seria deixar os links relativos entenderem o contexto do diretório (talvez lendo $PWD
), mas também seria possível.