除了公署占据城中的好位置外，政府附庸的庙宇、神祠、学堂、书院、馆舍等建筑，还有政府资助的养济院、育婴堂、漏泽园这些福利慈善机构也要占去城中大量土地，甚至会延伸到城外。

　　中国古代城池中最重要的公共设施莫过于文庙了。文庙乃官府所设，不仅是祭祀至圣先师孔子的场所，而且是教育士子的地方官学所在地，还是传承和散播儒家思想的地方，簇拥着名宦祠、乡贤祠、忠义孝悌祠、节孝祠、奎阁等建筑物。儒家思想是封建王朝统治思想的核心，一座城市的文庙既是地方文气之象征，更是国家统治的符号，是修建城池时最先要考虑的建筑。从这个意义上讲，文庙实际上是政治性建筑。中国古代行政区划长期在郡（州）—县两级与府（道、路）—州—县三级之间变化，行政衙署也相应变化，但文庙作为各级行政治地所必备的建筑，稳定性大大强于官署和其他任何建筑。

　　根据文献记载，乐山文庙始建于唐武德初。尽管唐代以前很多地方有文庙，但是文庙在全国各地的普及是从唐贞观四年（630年）太宗下诏“天下学皆各立周、孔庙”开始的，而乐山文庙在这之前就建立了。自唐以降的一千多年中，文庙经历多次重建、扩建、迁建以及无数次修缮，成为乐山历史上留下文字记录最多的公共设施。

　　文庙在城池中的位置，全国各地情况并不统一，但位于城南的偏多，居于东南方的为最，因为东南乃日出之地，是一个朝气蓬勃的方位，寓意文风兴盛，像西安、洛阳、平遥、韩城等地的文庙都建在城市的东南隅。早期乐山城可能呈方形，有较为明显的中轴线，乐山文庙最初的位置也在城南，其址历经宋、元而未变。明代洪武二十七年（1394年），大渡河洪水冲毁了文庙，城南水患频仍，文庙被迫迁徙。“嘉定四谏”之一的安磐在嘉靖初年写作的《江城记》中说，永乐年间文庙遗址在河岸以南数十步远的地方，他推测此时文庙的遗址应该在大渡河河心了。

　　文庙经过前后三迁，最终于明英宗天顺八年（1464年）迁到高标山下今址。庙学三迁，是乐山城历史上著名的大事，有明代的马理《嘉定州增葺庙学记》、范醇敬《嘉定州儒学志略》、周洪谟《重修嘉定庙学记》等文记录全过程。文庙的空间变化既是乐山城整体北移的缩影，也是乐山官民辛勤维护地方文脉的反映。

　　明洪武二十七年（1394年），一场洪水将文庙冲毁。知州杨仲钦、学正李敏鉴于其旧址水患频繁，将文庙“始迁龙头山阿”“方响洞之上”。但是工程“未善”，便停工。从宋代以来，方响洞一带就一直位于乐山城市中心，不知是否由于市井杂沓、环境局促的原因，导致文庙铺展不开。

　　接着文庙“再迁北原”。根据“北原”这一名称来看，此地也许在城市北面比较平旷的地方。但此地仍不佳。正统十一年（1446年），“同知柳芳、学正黎浩迁明伦堂于后山”，相当于只是将教学讲堂迁到了后山，其他建筑仍然未动，像大成殿这样重量级的建筑还是处于“卑隘”的地方。

　　明英宗天顺八年（1464年），训导曾智，“以大成殿卑隘，奏迁之于高标山下”，即府治西北、高标山左翼的玄坛洞。据传，在迁建时，曾于该地挖出一块碑石，上刻：“玄坛守此地，留与圣人居。”所有人既惊且喜，认为这是古代的哲人占卜所得之辞，说明天意早就将此地预留给了孔圣人。其实，剖鱼得书、挖地得碑这样的事情在古代很多，多半是当事人预先为之，故意让人迷信天意。大概因为文庙迁徙一波三折，弄得士民都对嘉州文气失去了信心，主事者才不得不如此为之。这无异于给低落的士气民意打一剂强心针。果然，士民庆贺，大赞此地风水：“诚烟霏霞栖之区，凤翥龙蟠之所”。

　　至此，从南到中，从中到北，从北又到西北，庙学迁徙终于尘埃落定。从此，文庙不再搬迁。

　　全国府州县的文庙具有大体上相同的建筑组成和结构布局，仿佛有丝分裂之后千万个模样类同的细胞。这样的结构布局保证了国家统治秩序的稳定，教育理念和制度的一致性。

　　地方文庙一般“庙”“学”合一，既做祭祀孔子的孔庙，又做地方教育的学宫。文庙中“庙”的部分一般包括：万仞宫墙、棂星门、泮池、大成门、大成殿、崇圣祠、名宦祠、先贤祠等；“学”的部分大致有：明伦堂、讲堂、学斋、尊经阁、文昌阁、教师宿舍、学舍、仓库等。其中，“庙”建筑群的主体建筑是大成殿，用来奉祀至圣先师孔子，“学”建筑群的主体建筑是明伦堂，主要用于讲学弘道。按照大成殿和明伦堂的位置关系，文庙中庙与学的空间关系大概有四种：左庙右学、左学右庙、前庙后学、中庙旁学。乐山一直是府（州）、县共治之地，所以府（州）、县共用一个文庙，府（州）学、县学共享学宫，只用一道墙相隔。

　　按照“殷礼”的“右为上”观念，则文庙空间应该是“左学右庙”的布局，根据范醇敬《嘉定州儒学志略》的建筑布局来看，明代乐山文庙就是如此；而中国古代一直有“左为尊”的观念，“左庙右学”是最常见的布局，清代在原址重建的乐山文庙又遵行的是这一通行原则。不管平面布局、规模形制等物质形态怎么变化，不变的是等级、宗法观念等精神内容。