Vecino me reclama la servidumbre de paso

Compré casa a un vecino el cual incluye una servidumbre de paso que se situa en un terreno en el cual no se ha construido nada. El punto es que el me reclama ese pedazo de pasada el cual ya sale en el plano catastral como calle, el tiene un papel antiguo en el cual viene su terreno completo (sin calle) lo más probable es que sea título de propiedad el de el, mientras yo ya tengo escrituras...
A el siempre le ha interesado comprar mi casa, desde antes de que yo lo comprara, ahora amenaza de que se lo vendo o hace barda perimetral en el terreno y me deja sin acceso...
Dónde acudo en caso de que haga la barda o que tengo que hacer?
Debo señalar que la calle está impuesta desde el 2003 o antes