O que eu normalmente uso é clicar duas vezes na barra de título da janela. Eu acho que agora esta opção pode estar desativada por padrão. Vá para Preferências do Sistema > Aparência e marque a caixa "Clique duas vezes na barra de título de uma janela para minimizar". Isso oferece uma área de destino muito maior do que o botão minimizar.
Algumas outras dicas que envolvem adicionar as teclas modificadoras junto com a ação de clique duplo. (Alguns deles podem não funcionar em todos os aplicativos, ou podem não estar disponíveis em versões mais antigas do OS X - desculpe, tendo passado por 10.1, 10.2, 10.3, 10.4, 10.4 e 10.5, pode começar a ficar um pouco difícil lembre-se de quando o recurso foi introduzido).
De qualquer forma, mantenha pressionada a tecla Opção (alt) e dê um clique duplo na barra de título da janela para Minimizar Todas as janelas (do aplicativo atual) para o Dock. (Opção neste contexto significa "aplicar a todos"). Da mesma forma, se houver várias janelas de um aplicativo específico que são minimizadas no Dock, clique em Option em um dos ícones da janela para que todos sejam removidos.
Como praticamente qualquer comando ou recurso que envolva animação, a tecla Shift pode ser usada para impressionar seus amigos. ;-) Faz com que qualquer animação vá em câmera lenta em vez da velocidade normal. Então, Shift-Option-clique duplo na barra de título minimiza todas as janelas de um aplicativo em câmera lenta, etc.
Em relação ao uso de uma única tecla (como apenas pressionar M sem nenhuma tecla modificadora), não, você não pode fazer isso até onde eu sei. Qualquer tipo de ação como essa requer pelo menos uma tecla modificadora - (Opção (alt), Comando (⌘) ou Controle - em combinação com as teclas "regulares". A tecla modificadora é necessária para que o aplicativo saiba que deve interpretar a letra M como um comando, e não como texto simples.
Atualizado:
Veja a lista de atalhos de teclado da Apple: