哈特曼1922年4月19日出生于德国符腾堡地区魏斯扎赫城。父亲是第一次世界大战时的军医。战争结束后，为躲避经济危机，于1925年(即哈特曼出生后的第三年)全家离开德国，到中国的长沙开了一家诊所。1929年，哈特曼随母亲和弟弟一同回国，3年后，老哈特曼也回到德国，在魏尔的俾斯曼大街开了一家诊所，行医谋生。
哈特曼从小就喜欢飞行，他第一次尝试飞行是乘坐一架竹子做框。旧布蒙皮的滑翔机从房顶往下跳，落在事先挖好的松土坑里。哈特曼的母亲是一位富有冒险精神的飞行体育运动爱好者，这对哈特曼产生了巨大的影响。母亲参加了伯布林根机场的航空俱乐部，取香驾驶克莱姆 1-27 轻型飞机，哈特曼兴高采烈地随母亲一起飞上了蓝天，开始有了真正的飞行体验。哈特曼的母亲是对他的飞行生涯产生了重大影响的第一人。
14岁的哈特曼成为一名优秀的滑翔机驾驶员。1937年地，他获A.级和B级滑翔机驾驶员证书，取得 C级后，成为希特勒青年飞行团中的滑翔机教员。在中学里，哈特曼是不守规矩的学生，履历表里填有课间休息时点燃用木炭和硫磺制造的黑色粉末恐吓同学的记录。他的学习成绩一般，不求上进，考了个及格就心满意足，但却醉心于体育活动，一次，他未经训练就参加乐从33米高台跳下的滑雪比赛，动作竟然相当优美，同学们给他起了个"野母猪"的外号。
在1942年六月转入空战和射击训练后，哈特曼很快显示出天生的射杀才能，他特别热衷于近距离射击，不喜欢当时流行的远距离射击，1942年6月3日，哈特曼驾驶ME-109D型飞机用机枪对拖靶射击50发，命中24发，引起教官和同行的注目。1942年11月5日下午，哈特曼和大队副官特雷普特中尉率4架飞机在迪戈附近起飞，区去拦截企图攻击德军地面部队的8架伊尔-2强击机和10架拉-3飞机作战。
哈特曼第一个发现了苏机，大队副官命他组织和指挥攻击，哈特曼急速俯冲到50米高度，在100米距离以内，但枪炮弹从苏联飞机的装甲上弹了回来，他发现这样射击伊尔-2飞机纯属徒劳，这种飞机的装甲厚度是出了名的，他想起阿尔弗雷德。格里斯拉夫斯基过去告诉他的方法----攻击伊尔-2飞机的滑油散热器。哈特曼急速爬高，然后俯冲到离地仅几米的高度，从苏机的后下方逼近。
60米距离，哈特曼对准滑油散热器开火，这次，苏机冒出了浓烟，拖着长长的火焰开始下降，接着，它的翼下发生了爆炸，碎片击中了哈特曼的飞机，他一直在后面穷追不舍，黑烟从发动机舱下冒出来，哈特曼意识到自己的飞机受伤了。当哈特曼想方设法迫降在地面时，舱内的浓烟熏的他几乎窒息，他爬出机舱时，苏机越2公里的地方爆炸了。步兵把哈特曼救了出来。
哈特曼击落150架飞机后，得到了很高赞誉，报上常常登出他和52联队其他"英雄"的照片。苏联飞行员给他起了个"南方黑色魔鬼"的绰号。所谓黑色魔鬼是哈特曼机头上画的一个象郁金香花心似的黑色箭头。据说有一段时间苏联飞行员一见到这个黑色箭头标志就躲得远远的，哈特曼因此竟无事可做，战果增长慢了下来。
1944年8月24日，哈特曼2次升空作战，击落敌机11架，从而使他击落飞机的总数达到301架，这是世界上第一个击落飞机超过300架的王牌飞行员。打下352架飞机、其中大部分是苏联飞机的哈特曼被从23岁起成了苏联战俘。由于哈特曼的"战绩"和他飞过Me-262的经历，苏联人对他进行了多次审问，想了解Me-262的有关情况，但哈特曼拒不合作。1949年12月，苏联法庭判处哈特曼25年徒刑。
为了解决生活问题，34岁的哈特曼又加入了正在重建的西德空军。1956年底，哈特曼正式回到空军工作。1957年2月，哈特曼添了一个女儿。不久，哈特曼赴美考察F-104 回国后，哈特曼在歼击飞行学校担任过一段时间的副校长，不久，改任新德国空军的第一个喷气式战斗机联队--第71战斗机联队指挥官。这个战斗机联队用德国一战王牌"里希特霍芬"的名字命名，装备F-86MKV1飞机。
半年后的1958年10月，第71战斗机联队划归北约指挥的部队。1968年，哈特曼升为上校。1970年9月30日，哈特曼退出现役。哈特曼在战斗中的杰出表现是他的对手都不得不承认和钦佩的。道格拉斯。麦克阿瑟称赞哈特曼是创造史无前例的世界记录的任务，并对哈特曼的独创战术尤为欣赏，称他是善于与"旧战术方法决裂"的伟大飞行员。