Cuenta la leyenda que hace tiempo vivía en el Castillo de las Caldas un caballero llamado Don Rodrigo, era un gran señor, que provenía de un buen linaje. Tenía una bella hija llamada Olalla, la cual era portadora una gran belleza.
Don Rodrigo solía visitar muy a menudo a sus amistades de la alta sociedad en Oviedo y considerando que su hija ya tenía una edad para contraer matrimonio, la llevaba en algunos de aquellos desplazamientos para que algún noble la fuera viendo con pretensiones casaderas.Pero la bella Olalla ya tenía sus planes hechos. Ella mantenía relaciones con un guapo paje que trabajaba en el castillo y él le correspondía también, cuyo nombre era Pelayo y que pronto iba a ser nombrado caballero. Mientras eso ocurría, decidieron mantener su romance en secreto, ya que si Don Rodrigo se enteraba pagaría con la muerte. Como ambos se conocían desde que eran niños, no hubo ningún tipo de sospecha.
Pero un día que los amantes estaban paseando, apareció sin esperarlo nadie, Don Rodrigo. El señor comprendió todo en ese mismo instante. Olalla, muerta de miedo, se desmayó y Don Rodrigo atacó a Pelayo espada en mano. Empezaron con una lucha en la que pudo más la juventud y Pelayo dejo huérfana a Olalla.
Los sirvientes que se fueron congregando, atacaron a Pelayo. Mientras Olalla comenzaba a recuperarse y quiso poner fin a la pelea. Cuando se acerco donde estaban, vio el cadáver de su padre y se volvió loca.
Por su parte, Pelayo, se acercó hasta Olalla, la pidió perdón por lo que había hecho, tiró su espada y se arrojó desde las almenas de la torre del castillo, al rio Gafo y en sus aguas desapareció para siempre.
Se comenta que hay en Priorio una roca, sobre el rio, que muestra unas manchas que llevan mucho tiempo, y que son las marcas de la sangre que por allí se derramó.