小西山一带历史遗迹很多，明代，小西山前山脸的平缓山麓多为皇室墓地的修建处，著名的有明景泰帝（朱祁钰）的陵墓，还有明万历皇帝七位妃子的墓地，即东四墓。到了清代，小西山地区周围曾有“三山八院”和“三山三园”之称，并且此地为八旗兵的驻地，至今尚存有正兰旗、正白旗等村庄以及碉楼等遗迹。

　　同时小西山地区的寺庙遗址和文物古迹分布很广泛，除了八大处、香山等早已辟为公园以外，在西山国家森林公园的范围内尚有许多的古迹，构成了独特的人文景观。具体来说，包括福惠寺以及盘道、北法海寺、地藏殿以及邀月洞、静福寺以及辽塔等庙宇。此外还有梅兰芳、马连良、言少朋、刘半农、刘天华和佟麟阁等人的墓地以及黑山邑战斗纪念碑。