El padre de mi hijo me amenaza con quitamelo

Buen día, llevo 6 años con mi pareja y dos años de casada por lo civil ,tenemos un niño de 5 años y yo me dedico 100% a el hogar.
Me quiero separar por qué ya es demasiados problemas con mi esposo y no veo que esto tenga solución.
El me amenaza en quitarme a el niño ya que no tengo trabajo ni nada que ofrecerle y que en cuanto ponga un pie fuera de la casa me lo quita.
Esto es posible ? Quiero hacer las cosas bien por mi hijo y asesorarme primero antes de tomar cualquier desición, y si necesito primero buscar casa y trabajo y después salirme eso haré pero no quiero perder a mi hijo no me interesa pensión ni su casa solo que no me quiten a mi hijo.