清凉寺位于台怀镇西南上瓦厂村东北的清凉谷中。寺内因有著名的文殊圣迹“清凉石”而得名。寺庙坐东朝西，按中国传统的中轴对称格局布置，中轴线上有五层大殿，禅堂、配殿左右对称，布局严谨，主次分明。

据《清凉山志》载，此寺肇于北魏孝文帝延兴二年至太和十七年间（472-493）。唐代时，它是替国行道的镇国道场。

唐代大历元年（766），为不空三藏密宗道场。可惜文革时期，整座寺庙被毁，惟清凉石尚存。

清凉石是清凉寺的象征。佛教传说，文殊菩萨曾于清凉石上讲经说法，因此也称“曼殊床” ，现今的清凉寺是20世纪90年代后期，由香港黄惠卿女士等筹资、山西省文物局陪游网工艺美术大师胡银玉设计施工重建的一座新寺。