Mi pareja puede quitarme a mi bebé?

Hola
Tengo una bebé de 6 meses y vivo en otra ciudad a 5 horas de donde soy.
He querido separarme de mi pareja pero cada que quiero irme me dice "Voy a ir con un juez" "No te llevaras a nuestra hija".
Cada que pasa algo así le digo que vamos a hablar y dice "Me estas agrediendo" "Es que tu eres la que inicia las peleas" "Si te vas te llegará un aviso" Me graba cuando discutimos.
Mi suegra también llego a mencionar qué me quitaría a mi hija y por ello decidí comunicarme con la ex de mi pareja porque supuestamente querían quitarle a su hija y ella lo negó todo pero les aviso a mi suegra, mi cuñada y a mi pareja de lo que platique con ella.
Según mi suegra dice que estoy loca y mentalmente mal (lo mismo) pero pasa qué mi pareja antes de traerme me dijo "Te voy a quitar a Camila, además tu te vienes conmigo aunque no quieras" no dejo que me despidiera de mi familia.
Mi pareja no trabaja porque dice que tiene ahorros y que no necesita ahorita trabajar, desde que me embarace me dijo que no trabajará, en ese tiempo no tenia problema porque si trabajaba pero lo dejo para descansar y porque yo ya estaba a punto de tener a la bebé, lleva 6 meses sin empleo... cada que yo salgo (solo han sido 2 veces) mi suegra me vigila y dice que porque no aviso o no pido permiso. Mi pareja se droga aveces. Peleamos a menudo y casi siempre su mamá se mete u opina algo e igual quiere interferir en el cuidado de la niña o le inventa problemas de salud.
Quiero volver a mi ciudad y laborar para salir adelante con mi bebé pero no se si haya problema si nos vamos sin avisar o si él o su familia puedan quitármela.