¿El padre de mi hija me la puede quitar?

No trabajo para estar todo el día con mi bebe de 7 meses, a pesar de caer en depresión post-parto, jamás he dejado desatendida a mi bebé, ella es y sera siempre mi prioridad, todo el día estoy con ella cuidándola, amándola y atendiéndola; vivimos juntos su padre ella y yo, no estamos casados, hemos tenido en estos últimos 4 meses muchos problemas para entendernos, el me dijo que si las cosas no cambian... "él si puede hacerse cargo" me dijo: "si no puedes con tu maternidad ya saber que yo si me hago cargo" dice que si las cosas no cambian. El ya no quiere vivir conmigo, que yo me voy de la casa y que en lo que el trabaja la niña la dejaría en una estancia infantil y que se queda con el, dice que no me va a pedir permiso para hacerlo, y dice que puede hacerlo porque yo no tengo ingreso de dinero propio ni lugar para vivir (cosa que no es verdad, yo vivía con mi abuela y puedo volver ahí, ha sido mi casa siempre).

Mi hija es una bebé aun, se alimenta de mi pecho y este hombre de buenas a primeras me dijo que me la piensa quitar ¿puede hacerlo?... ¿si lo intenta que puedo hacer?... me llena de alarma que me haya dicho esto.