Se você usa Linux provavelmente você já deve ter ouvido falar do comando "nice", ele tem a função de alterar a prioridade dos processos, alterando a prioridade dos processos você vai fazer com que o processo ganhe uma fatia maior de tempo no processador e assim ele vai terminar mais rápido. As prioridades do nice vão de -20(maior prioridade) até 19(menor), então usando o nice pra colocar a prioridade em -20 os programas irão compilar mais rápido.
O make também tem o recurso de jobs, que é basicamente criar mais de um processo para a compilação, isso aumenta bastante a velocidade porque você pode usar mais de um núcleo do processador(incluindo os threads) para compilar acelerando muito o processo.
Eu uso os dois da seguinte forma para compilar meus programas:
# nice -n -20 make -j4
Usando essas opções eu consegui compilar o Linux em 23 minutos usando um Intel Celereon n4000. Espero ter ajudado, isso já me ajudou a salvar muito tempo.