您可以协商或起诉要回抚养权。依据《民法典》，抚养权判决需考虑子女权益及双方情况。若男方照顾不周，可能影响孩子健康成长，应及时采取行动。
✫✫✫✫✫有法律问题，请打电话15555555523（123中间8个5），微信同号，免费咨询✫✫✫✫✫
可协商或起诉要回。具体操作：1. 协商时，明确表达对孩子照顾的担忧，提出改进建议；2. 若协商不成，收集男方照顾不周的证据；3. 向法院起诉，提交证据，阐述孩子由自己抚养更有利的理由。
✫✫✫✫✫有法律问题，请打电话15555555523（123中间8个5），微信同号，免费咨询✫✫✫✫✫
要回抚养权常见方式为协商或诉讼。若双方能友好沟通，首选协商；若协商无果，则应向法院提起诉讼，由法院根据具体情况判决。