Pago pensión alimenticia pero ya no quiero ver a mi hijo cada fin de semana.

Buen día estimadxs abogadxs.
Me descuentan vía nómina el pago de pensión alimenticia y lo recibe la mamá de mi hijo. Mi hijo tiene 9 años.
Yo lo veo los fines de semana, pero siempre está enfermo y trae el virus a mi casa. En la escuela le va pésimo, y no me dan información al respecto porque la mamá es la única “tutora”. Mi hijo se molesta con las responsabilidades y reglas que hay en mi casa. Y cada fin de semana me enfermo del estrés y coraje que eso me produce.

Quisiera saber, si puedo dejar de verlo cada fin de semana, sin que haya repercusiones legales.
Tengo más familia, y quiero poner mi bienestar primero.