Me estan condicionando las convivencias con mi hijo

Tengo un año de divorciado, vivo a 12 horas de dónde mi hijo actualmente, por lo cual, tengo que avisar con dos semanas de antelación mis visitas. Todo había transcurrido bien, he ido 5 veces a ver a mi hijo y mis papás me han acompañado en una ocasión.

Para diciembre quiero ir con mis papás, mi hermano y su esposa, mi hermano no conoce a mi hijo porque estuvo viviendo fuera de México.
Mi ex esposa se opone a esa visita (nunca le cayo bien mi hermano y su esposa, no hubo en ningun momento faltas de respeto de ninguna de las partes, es un tema personal) y argumenta que las convivencias son exclusivas conmigo, que mi hermano no tiene facultades para tramitar convivencias con mi hijo y que mis papás tienen que tramitar su regimen de convivencias.

Tengo entendido que mientras este conviviendo con mi hijo puedo llevarlo a que vea a sus familares y llevarlo a los lugares que yo considere, siempre y cuando sean lugares de acuerdo a su edad y no se ponga en peligro el bienestar fisico y psicologico de mi hijo.

¿En verdad se puede condicionar de esa forma las convivencias con mi hijo? ¿Qué puedo hacer para solucionar esto?

Todo esto es en el estado de Nuevo León