過敏體質的人是不能吃靈芝粉的，因為靈芝中的有些成分會對身體造成刺激，可能會引起過敏等症狀。有些不是過敏體質的人，在吃了靈芝粉以後如果出現過敏症狀，以後最好都不要再吃靈芝粉或靈芝製品，以免再發生過敏反應。
孩子是不能吃靈芝粉的，因為靈芝粉是屬於藥物，會影響孩子的生長髮育。剛做完手術的人也是不能吃靈芝粉的，因為剛做完手術後，身體非常的虛弱，不能吃靈芝粉這樣大補的食物，一次性補得太多可能會導致虛不受補，導致身體更加虛弱，嚴重時甚至會出現更加嚴重的症狀。
女性在月經期也是不能吃靈芝粉的。來月經期間，女性身體內的血液流量會比較大，內分泌也會發生變化，在這段時間吃靈芝粉會擾亂內分泌，可能會導致月經量增加，延長月經週期，嚴重時甚至導致貧血等症狀。
在感冒時最好也不要吃靈芝粉，因為在感冒時身體比較虛弱，這時靈芝粉可能會上火等症狀，引起更加嚴重的感冒症狀。靈芝粉的主要功能是益氣養血，氣色不好的人可以吃靈芝粉，但是隻有在身體健康的時期才能吃。靈芝粉還有安神的作用，經常失眠或睡眠質量差的人，可以適當地吃靈芝粉。