¿Puede quitarme a ms hijos su papá si decido llevarmelos por que él no es apto?

Yo soy una chica que es natal de Puebla pero me junte con un tipo de el edo de México llevamos casi 5 años viviendo en unión libre tenemos dos hijos que nacieron y están legalmente registrados ahí y los últimos 5 meses de nuestra relación empezó a tener conductas inapropiadas y en extremo extrañas le dije que si consumía algún tipo de estupefaciente y dice que no. Hace 15 días todo subió de tono y por miedo de su conducta empecé a ver un flete para irme a mi estado pero me amenaza con demandarme por abandono de hogar si lo hago y aparte de quitarme a mis hijos porque según un amigo abogado de su familia le dijo que los niños tienen mas derecho de vivir y criarse aquí que en puebla, ¿qué tan cierto es esto? ¿puede quedarse con los niños? ¿puede el demandarme por abandono si solo vivimos en unión libre? El dif de mi localidad podría ayudar ya que no tengo muchos recursos.