男女離婚時候是否要退回彩禮，還需要看實際的情況是否構成了彩禮返還的條件，如果構成了彩禮返還的條件，可以依法要求退回。可以要求返還彩禮的情形包括3種：
1.給付彩禮後悔婚，雙方未辦理結婚登記的；
2.雙方即使已經辦理結婚登記手續，但確未共同生活過就離婚的；
3.婚前給付彩禮導致給付人生活困難，離婚時也可以此爲由要求返還彩禮。
【法律依據】
《民法典》第一百五十八條
【附條件的民事法律行爲】民事法律行爲可以附條件，但是根據其性質不得附條件的除外。附生效條件的民事法律行爲，自條件成就時生效。附解除條件的民事法律行爲，自條件成就時失效。
