Si me cambio de casa en el mismo estado mi ex puede quitarme a mi hija?

Yo tengo una nueva pareja, ya tenemos 1 año y medio de relación y todo va muy bien, nos llevamos bien, el y mi hija también, ella tiene 3 años y medio y es apegada a mi pareja, el papa de ella tiene como 6 meses que se fue a otro Estado y apenas y le habla y cuando ella le quiere hablar rara la vez que le ha contestado después de insistir mucho, el caso es que estoy embarazada y cuando el supo me felicito y así y dijo que si me hiba a ir al lugar donde es mi pareja que nomás le dijera para saber que la niña estaría Aya y así y ahora sale con que no me la voy a llevar de aquí de donde somos, siendo que el ya tiene tiempo sin estar aquí y de la pensión pues ni hablar la manda cuando quiere y lo que quiere, me puede quitar a la niña así nomás porque no quiere que nos vallamos sin el siquiera estar en el mismos Estado que nosotras?