36个省是新中国建国后开始划分的，古代从元代开始已经有了“省”这一级行政区划制度。
自元代开始，中国出现了一种新的行政区划制度，其最高一级的行政区划单位为行省（简称为省），因此称为行省（省）制时期。此时期从13世纪后期至20世纪初，历经元、明、清三代。
省名起源甚早，魏晋时期已有尚书省、中书省之称，然皆为中枢要署，不直辖地方。隋文帝于开皇八年（588年）伐陈，曾置淮南行省于寿春，但不久即废。金入主中原之初，曾出现过行省制度，在外地设立行尚书省，但为时短暂。蒙古人兴起之后，仿金实行行省制度。元世祖一方面将尚书省并为中书省，总理朝政；另一方面，在地方设立若干行中书省，作为朝廷中书省在外地的代理机构。它最初是一种临时设置，并只管军事，后演变为兼管民政，其长官也由中央官吏演变为地方官吏。其间从伐金到灭宋，历经70余年，平宋以后成了元朝的行政区划单位。
