男女離婚時候是否要退回彩禮，還需要看實際的情況是否構成了彩禮返還的條件，如果構成了彩禮返還的條件，可以依法要求退回。可以要求返還彩禮的情形包括3種：
1.給付彩禮後悔婚，雙方未辦理結婚登記的；
2.雙方即使已經辦理結婚登記手續，但確未共同生活過就離婚的；
3.婚前給付彩禮導致給付人生活困難，離婚時也可以此爲由要求返還彩禮。
【法律依據】
《民法典》第六百六十三條，受贈人有下列情形之一的，贈與人可以撤銷贈與：
（一）嚴重侵害贈與人或者贈與人近親屬的合法權益；
（二）對贈與人有扶養義務而不履行；
（三）不履行贈與合同約定的義務。
贈與人的撤銷權，自知道或者應當知道撤銷事由之日起一年內行使。
