东晋时，在都城建康的官府中做事的人，流行戴用黑纱做的帽子，人称“乌纱帽”。到了南北朝时，这种帽子在民间流传开来。这时的“乌纱帽”是百姓们常戴的一种便帽。
隋唐时，天子文武百官都戴乌纱帽。但为适应封建社会的等级制度，隋朝用乌纱帽上的玉饰多少显示官职大小。宋太祖赵匡胤登基后，对乌纱帽的样式进行了改革，即以乌纱帽上的花纹来区别官员的大小。
明代开国皇帝朱元璋定都南京后，作出规定：凡文武百官上朝和办公时，一律要戴乌纱帽，穿官服，束腰带。另外，取得功名而未授官职的状元、进士，也可戴乌纱帽。从此，“乌纱帽”才成为象征官员的一种标志，而并不是从一开始就代表着官位。