遂平在西周时为房子国,西汉置吴房县。
唐朝晚期,朝廷为消灭淮西地方藩镇势力,派李愬前往,李愬雪夜袭取蔡州,擒获吴元济。为了纪念这次袭击战的辉煌战果,取遂平蔡州之义,改吴房为遂平。
灈阳街道
因街道办事处驻原灈阳城而得名。
汉高帝四年(前203年),在此置灈阳县,南朝宋改为瞿阳县。
车站街道
辖区内有京广铁路遂平站,因车站而得名。
莲花湖街道
辖区内有莲花湖而得名,西北部有几个水塘,彼此相连,状似莲花,得名莲花湖。
褚堂街道
明朝末年,褚姓从山西洪洞县迁此定居,在村西修建一座“奶奶堂”,取名褚家堂,村以此得名,后来演变为褚堂。
吴房街道
公元前505年,吴国夫概(阖闾弟)和阖闾争夺王位,战败逃楚,楚昭王把他封到古房地,夫概是吴国的宗族,封地又为房子国故土,后来因称这一带为吴房。
西汉置吴房县,街道因此而得名。
玉山镇
古为来往行人的歇脚点,开有饭店,因有一东西向小山横亘于店南,山名横山,村名横山店。
明万历年间,有道人过此,指着横山说:“此山有玉,何不名为玉山”。故改称玉山,村因此改名。
嵖岈山镇
以境内嵖岈山得名,嵖岈山因山形奇特,岩石犬牙交错而得名。
石寨铺镇
明朝末年,石才在此开饭铺,得名石才铺。
清朝初期,为防匪患,此地举人刘独招集民工,修筑寨墙,寨内起集,店铺林立,改称石寨铺。
和兴镇
清康熙元年(1662年),牛、王二姓在村北建一座庙,取名牛王庙,村以庙名。
为了纪念团结合作的光荣传统,清乾隆年间已改为和兴。
沈寨镇
明朝初期,申姓从山西洪洞县迁此,取名申店。后因战乱,筑寨防敌,改名申寨。
1642年,李自成攻克遂平,杀死知县刘英。1643-1644年,西平酒店乡刘楼村刘扁(刘洪启)的队伍攻进寨里(当时寨中应当住的李自成的大顺军),一把火将这里烧成了焦土。不久,有些外逃的人又陆续返回,慢慢又形成了村庄,取名复兴店。
清道光年间,又复修寨墙和四门,改称复兴寨。不久,小沈庄沈姓任寨长,改名沈寨。
阳丰镇
元末明初,村庄顺河而建,因交通便利,开有小店铺,取名顺河店。
明成化十四年(1478年),一道士发现河北侧有“凤凰”在此落脚(因位于河水之阳),遂改庄名阳凤。
清同治三年(1863年)建寨。后来,将“凤”写成“奉”,又渐演为“丰”,称阳丰。
常庄镇
清顺治年间,明朝开国大将常遇春的子孙迁居此地,取名常庄。
花庄镇
明朝时,花姓迁此,人丁兴旺,渐成村落,取名花庄。
槐树乡
明朝初年,移民从山西洪洞县大槐树迁此居住,此地有古槐两颗,始名大槐树,后来演变为槐树。
文城乡
唐元和十二年(817年),李愬征讨吴元济,曾在此立文城栅,后小文城居民逐渐迁此,形成村落,取名文城。