Si mi padre me prestó su casa hace 6 años para vivir me puede sacar ?

Mi papá se divorcio de mi mamá quien fue quien vio por nosotros ya que mi papá pasó 8 años preso , ellos al final se divorciaron hace 5 años , pero la casa está a nombre de mi papá aún la está pagando a Infonavit , hace 6 años mi papá nos dejo habitarla (mi pareja , mis dos hijas (6 y 7 años) y yo) ahora en enero nos pidió la casa , cabe mencionar que dijo que la quería para junio o julio , pero no tenemos el recurso para movernos a otro lado , no sé cómo ampararme o no se si realmente el nos puede sacar si se llega la fecha estimada ? Un tiempo de palabra me dijo que la casa sería mía pero ahora se quiere volver a casar y supongo que por eso la urgencia de volver , también quiero decir que el antes del divorcio abandonó la casa y desde entonces lleva aproximadamente 8 años sin habitarla
Entonces , me puede sacar?