Você pode ter um arquivo html como este:
<!DOCTYPE HTML>
<html>
<head>
<title>The html file</title>
</head>
<body>
<a href="/action.php">
<button>
Launch Nautilus
</button>
</a>
</body>
</html>
Em action.php, você chamaria o comando necessário:
<?php
// Launch your command
system("nautilus");
// Redirect to index.html
header('Location: /');
?>
Para testar isso, usei o servidor PHP incorporado:
php5 -S 127.0.0.1:8000
E eu fui para o link no meu navegador (firefox). Ele começou nautilus.