回避制度是劳动保障监察执法中的一个重要程序制度。该制度设计的目的在于防止办案人员及有关人员发生偏见或徇私舞弊，保障执法公正，防止执法偏私，保障劳动保障监察的客观性、公正性，解除当事人的顾虑。劳动保障监察员办理的劳动保障监察事项与本人或者其近亲属有直接利害关系的，应当回避。主要是有下列情形：案件承办人员是用人单位法定代表人的近亲属的；本人或其近亲属与承办查处的案件有利害关系的；因其他原因可能影响案件的公正处理等。
劳动保障监察员所办理的监察事项，包括具体承办人员对案件进行的调查取证、组织听证过程中听证主持人或者记录人员的担任、对案件查处情况的审议等等事项，只要是符合上述情形的，都属于需要回避的范畴。
劳动保障监察人员的回避包括自行回避和申请回避两种情形。一是自行回避，即承办查处违法案件的劳动保障监察人员在办理监察事项时发现上述情形的应当自行回避，主动向劳动保障监察机构负责人作出说明，退出案件的查处工作；二是申请回避，如果当事人认为劳动保障监察员具有需要回避情形，可能影响对案件公正处理的，可以在规定的期限内向人力资源和社会保障行政部门书面提出回避请求。回避决定应在收到申请之日起3日内作出。一般来说，劳动保障监察员的回避，由劳动保障监察机构负责人作出决定；对劳动保障监察机构负责人的回避，由人力资源和社会保障行政部门的负责人决定是否应当回避。在回避决定作出之前，案件的承办人员不停止调查工作。人力资源和社会保障行政部门对于驳回回避申请的决定作出后，应当告知当事人，并作出说明。