La Casa Carvajal esta datada en el siglo XVI, es el único edificio que mantiene un escudo nobiliario, tallado sobre el dintel de la puerta. Dicho escudo, representa a la Familia Carvajal. Aquí nació Don Pedro de Carvajal, Capitán de la Armada y Virrey de Nápoles. Don Pedro Carvajal fue gran devoto de San Martín, se acredita en el inventario de la Ermita de San Martín por las donaciones que hace.

Arquitectónicamente hay que destacar el balcón de madera y las labores en las vigas, que separan la primera y la segunda planta, estas vigas de madera tienen un excepcional tallado en su extremo. (Alguien atribuye que las diferentes labores de estas maderas, corresponden a los Pendones de Castilla. Lo que sí es cierto, es que hay varias edificaciones, muy antiguas, que poseen un número de vigas coincidentes con esta).

Según la tradición, una descendiente de esta familia llamada Isabel de Carvajal, iba a casarse con un sobrino del Obispo de Plasencia. Sin embargo, este hecho comprometía su carrera eclesiástica, y en el último momento la abandonó, esto condenó a la familia Carvajal a la deshonra eterna. Isabel abandonó su hogar para marcharse a la Sierra de Tormantos, donde vivía en una cueva. Por el odio, condenaba a todos los hombres que se cruzaban en su camino. Los llevaba a su cueva, donde los daba de cenar, los emborrachaba, abusaba de ellos y finalmente los mataba. Hasta que un serranillo pudo escapar de sus garras, e informó de la presencia de la serrana. Fue perseguida, capturada y condenada a muerte.