Vivo en unión libre y mi pareja quiere poner sus condiciones

Yo trabajo y quiero llevar a mi hija con mi mamá mientras trabajo, ella vive en otro lugar a 2 horas de donde estoy, pero el papá de mi hija me amenazó que si lo hago se irá con todo hacia mí u me quitará a mi hija, porque no quiere viajar 2 horas para verla, quiere que haga lo que el diga y me dijo que como ganó más dinero que él y no cobra por nómina me dará lo que considere. Pero me dijo que su hija se tiene que quedar donde él está porque si no me demandará.