Tu dis que ce temps est incompressible "quelle que soit la raison", je ne pense pas. Ton problème ici, c'est que tu utilises des agents statiques (dans ta queue tu as toujours tes agents qui correspondent eux-même à un téléphone).
Ici en l’occurrence, ton agent n'est pas là mais le téléphone correspondant à l'agent sonne. Asterisk attend donc le timer. Si le téléphone était occupé, Asterisk passerait au suivant.
Si tu ne veux pas changer ta conf de fond en comble, tu peux mettre un mode "Ne Pas Déranger" sur les postes que les agents pourraient activer quand ils sont absent.