¿Puede quitarle mi apellidos a mi hija el padre biológico?

Muy buenos días, me llamo Paul. Fíjese que tengo cuatro hijos con mi esposa pero la más pequeña, que es el motivo por el cual le escribo, para que me pueda asesorar, no es mi hija de sangre. Me separé un tiempo de mi esposa y volvimos y sabiendo yo que no era mi sangre yo aún así le di mi apellido por que el padre biológico no se hizo responsable al nacer. Ahora ya pasaron dos años y él quiere ponerle su apellido y yo no quiero, ¿qué puedo hacer en este caso cuando él no se quiso hacer responsable desde que nació?