五味子虽有多种益处，但并非人人适宜，以下几类人群需格外注意。
外有表邪未解者不宜食用，如正处于感冒初期、有发热、鼻塞、流涕等症状时，五味子的收敛特性可能会将病邪困在体内，加重病情或延长病程。体内有实热者也需避免，若常出现口干舌燥、咽喉肿痛、大便秘结、小便黄赤等实热表现，五味子的收敛作用会助长热势，导致症状加剧。
脾胃虚弱且易腹胀、消化不良者应慎用，五味子可能刺激胃肠道，加重腹胀、嗳气等不适。过敏体质者需警惕，部分人食用后可能出现皮疹、瘙痒等过敏反应，这类人群应禁用。此外，孕妇、哺乳期妇女及儿童体质特殊，五味子的使用需在医生指导下进行，不可自行服用。
总之，五味子的食用需结合自身体质，有基础疾病或特殊情况者，务必咨询专业人士意见，避免盲目食用引发健康问题。