La Casa de las Muñecas es una de las casas más significativas del pueblo. Dice la tradición que fue mandada construir por Carlos V, para uso y disfrute de sus servidores. Destaca por su fachada llamativa y distintiva, del resto de edificaciones por su color azul añil. Así como sus muñecas talladas en la piedra del dintel y en la cerradura de la entrada principal. Esta consta de una gran puerta de madera de doble portada, acabada en un arco de media punta de granito. También destaca su balconada de madera que sobresale en la primera planta.

Estas edificaciones constaban de una gran puerta de entrada, que daba paso a un amplio zaguán, y este a la caballeriza. A media altura del patio, se encontraba la balaustrada expositora, un balcón de madera donde se exponían las mozas de fortuna. En la primera planta se encontraba el salón del burdel, una cocina y un comedor. En el resto de plantas se encontraban las habitaciones que utilizaban las mozas.

Desde el caballo observaban la exposición femenina en la balaustrada. De interesarles, llamaban con el pomo de la puerta, tallado en hierro con forma de puño, acto seguido le abrirían la puerta facilitando la entrada al caballero y cabalgadura, pasando ésta a la amplia caballeriza desde el zaguán de la casa.

Las Mozas de Fortuna se vieron obligadas en la época de los Reyes Católicos, a llevar un distintivo de su profesión en la vestimenta, los picos de las enaguas de color pardo. Por esta razón salió el dicho «irse de picos pardos» como expresión que representa «irse de putas». Lo mismo ocurre con el color azul añil de la fachada, para distinguirlas de las demás; incluso se comenta que antes, en las noche de luna, los amantes de estos placeres en sus correrías amorosas, solían ir vestidos de este azul, el mismo color que las fachadas de las casas de lenocinio.

La dueña del edificio muere en el año 1614. Entre sus numerosos bienes, deja la casa de su morada y la huerta contigua a los señores clérigos, con la carga de numerosas misas durante tiempo indefinido, para la salvación de su alma, que ininterrumpidamente se han estado aplicando hasta la década de 1950. Los clérigos se resistían a habitarla, alegando que no era una casa acta para vivir, por su función en el pasado, por lo que con permiso episcopal, venden la casa. Con el importe de esta venta y la ayuda económica de la Ermita de San Martín, se construye la actual Casa Parroquial, ubicada en la Plaza Diez de Mayo.