Tenho quase certeza de que o AppleScript será insuficiente, uma vez que ele não foi projetado para capturar todos os movimentos do mouse, e o uso do Terminal seria baseado no código existente no sistema operacional. Se for, não estou ciente disso.
O que eu posso tentar é instalar um driver de mouse de terceiros, por exemplo USB Overdrive , e usá-lo para inverter o eixo y como você deseja.