Sim, faz sentido colocá-los em /usr/lib , pelo menos em alguns casos. De acordo com o FHS, você deve usar um diretório específico do aplicativo em /usr/lib , por exemplo /usr/lib/yourapp . Você pode estruturar o conteúdo do jeito que quiser (veja O Gimp, cujos plugins terminam em /usr/lib/gimp/2.0/plug-ins , e muitos outros exemplos em seu próprio /usr/lib ).
As regras gerais usuais para /usr se aplicam: se o software for empacotado usando o gerenciador de pacotes do sistema, então /usr/lib pode ser apropriado ; caso contrário, deve ir em /usr/local/lib (seguindo o mesmo padrão). (Graças a mobileink e Barafu Albino para o lembrete.)