肛门纤维瘤不一定非要手术切除。肛门纤维瘤是由于长时间的慢性炎症刺激而引起的良性肿瘤，治疗方法包括保守治疗和手术治疗两方面。需要根据病情发展的不同时期，采用相应的综合治疗方法，因肛门纤维瘤没有恶变的风险，所以并不是必须要进行手术切除。

如果纤维瘤的体积较小，不影响生活质量，可进行观察，定期复查即可。但如果肛门的纤维瘤体积较大，在大便时会随大便一起排出到肛门外，可能会影响患者的生活质量，此种情况可能需要手术切除进行治疗。

建议患者在治疗肛门纤维瘤的同时，也要注意饮食调理。宜进食清淡饮食，避免进食油腻、辛辣刺激等食物，以免加重病情。另外，应多吃一些新鲜的水果和蔬菜，补充身体所需要的维生素，禁止吸烟和饮酒。