¿Puedo quedarme patria potestad de mis dos hijos por abandono de hogar?

Vivía en unión libre con mi pareja, tenemos dos hijos de 5 y 3 años. Un día mi mujer se fue sin decir nada, se los llevó, pasó 1 mes y le habló a mis padres para que fueran por ellos. Hasta la actualidad 6 meses no se hace responsable por ninguno y de su parte de ella fue infiel con dos parejas diferentes, no es buen ejemplo para mis hijo, ya que ejercía la prostitución y se drogaba.


Hoy entonces quiere llevarse a mis hijos lejos, yo vivo en el Estado de México y ella Reynosa. Se fue, ¿puedo hacer algo para que yo me quedé la patria potestad de ellos y sólo ella pueda visitarlos?