Pour une interconnexion de serveur à serveur, passez par de l'IAX plutôt que du SIP, c'est fait pour ça ! Dans le cas de l'IAX, un seul port à natter: le 4569 UDP.
Pour la config sur Xivo, je laisse répondre ceux qui connaissent.