¿Me puede quitar o llevarse a mi hijo de 3 años sin mi consentimiento?

Estuvimos juntos por casi 5 años y procuramos un hijo de 3 años actualmente. Nunca nos casamos, estuvimos por unión libre. El terminó la relación primero, dijo que ya no me amaba, y lo deje quedarse en casa en lo que buscaba donde irse, pero después descubrí la verdad; que tiene un amante y se decidió por ella. Es por eso que terminaba. Ante esto le dije que cuando regresará de trabajar no lo quería ver en casa y así fue. Pero en uno de mis enojos se me salió un comentario poco desatinado hacia con su madre, diciendo que era mejor ya no verlos ni mi hijo tampoco. Ante esto ella se lo dijo como si fuera un hecho y el me mandó a decir que iba a meter abogados y asi. Yo le dije que sólo fue un mal comentario que no le iba a quitar ese derecho mientras me diga apoyando. Tengo miedo si por este mal entendido él o si madre como ellos recogen al niño de la escuela me lo quieran quitar.