Libre acceso de mi hijo a mi casa en custodia compartida. Es legal?

Buenas tardes. Tengo custodia compartida por semanas con mi expareja de dos hijos. La vivienda familiar la tengo asignada por el juez a mi uso, habiendo tenido que abandonar el padre dicha vivienda que también está pagando, e instalándose en casa de sus padres. Mi hijo mayor de 13 años la semana que está bajo la tutela de su padre entra en mi casa como y cuando quiere, ya que su padre le ha dicho que él puede entrar y salir de dicha casa porque es suya. Es eso cierto? Puedo negar la entrada a la vivienda a mi hijo cuando no esté bajo mi custodia? Porque al final es custodia compartida pero me tengo que hacer cargo del niño todos los días. Gracias por su atención