Il faut passer un peu de temps pour regarder comment sip fonctionne mais recherche sur google "sip nat transversal" et tu verras le soucis. Commence par regarder comment sip marche d'abord, puis le nat, puis la traversee du sip par le ant. Moi aussi au tout debut , ca m'a perturbé par rapport aux autres protocoles reseaux.
En gros, sip va annoncer l'adresse RTP et le port mais si le serveur est derriere un nat, il annonce "son" port ( celui de la machine ) mais si tu es derriere un nat, ce port peut etre different que le nat alloue a l'exterieur (ip publique ).
Il faut bien comprendre que les ports sont annoncés dans les paquets sip...A priori , d'apres ta reponse , tu ne consideres pas ce point. Regarde attentivement comment marche SIP.
La plupart des routeurs essaie d'allouer le meme port mais ce n'est pas toujours le cas ou alors impossible car une autre regle nat est deja presente ouverte par un autre client sur le reseau derriere le nat.

Il y a plein de solutions plus ou moins simples pour régler ce probleme et essayer de le faire en securité. Mais ca serait un peu long a detailler et je n'ai pas l'expertise suffisante pour le faire probablement correctement.
Quand ca marche sans rien faire en supposant que tu sois derriere une box grand public, c'est par exemple ( liste non limitative )
- que tu n'as pas de regles de firewall strictes au niveau d'asterisk puisque tu dois forcemment les modifier pour sip , rtp et qu'il vaut mieux le faire en liste blanche si possible.
- que ton routeur a un timeout suffisamment important dans ses regles par rapport au paquets transitant entre ton asterisk et ton fournisseur. Certains routeurs ont un nat mapping valide seulement pendant 30 secondes.
- que ton routeur, coup de chance encore, alloue le meme port au niveau du nat qu'au niveau du serveur. Considerer que ca sera toujours le cas est une erreur.
- qu'un autre client derriere ton nat ne s'est pas vu alloué un des ports rtps externes par le nat mapping du routeur. ( generant un pb meme si peu frequent et aleatoire )

Bref, si quelqu'un demande la config pour les ports rtp, pour faire simple et sur ( meme si ce n'est pas la seule solution ) , un forward statique des ports rtp vers le serveur asterisk est la configuration qui marchera a 100%.
J'ai peut etre fait des erreurs dans cette reponse rapide et ca fait longtemps que je ne me suis pas penché la dessus. En tout cas , pour avoir installé pas mal d'asterisk derriere des routeurs en NAT divers et variés, la pratique confirme cela.
My €0.02
Francois.