restircciones para ver a mi hijo de la madre y la abuela

Recien me separe por adulterio de la madre de mi hijo, ella es muy violenta y agresiva , no se puede dialogar con ella, y estaba tratando de llevar las cosas mediante el contacto con su madre sin embargo la señora ya tambien se pone agresiva y no me dejan ver a mi hijo mas que unas horas un solo dia y yo quiero convivir mas con el en mis dias de descanso, se que la madre no es apta para tener al niño, ademas ella tiene otro hijo con el cual tambien es irresponsable, como puedo proceder para que no me niegen verlo ni me restrinjas los horarios y ademas mi inquietud es que si inicio un proceso legal, no pueda ver a mi hijo hasta que este concluya, pues mi ex suegra me amedrenta con eso dice que no lo voy a poder ver si llevo esto por la via legal
por favor espero alguien me pueda orientar