要退回去。依據刑法的規定，對一切的違法犯罪所得會進行追繳，如果用職務侵佔的財物購買的房屋，也是屬於違法所得，所以是會進行追繳的。
《刑法》第二百七十一條 【職務侵佔罪】公司、企業或者其他單位的工作人員，利用職務上的便利，將本單位財物非法佔爲己有，數額較大的，處三年以下有期徒刑或者拘役，並處罰金；數額巨大的，處三年以上十年以下有期徒刑，並處罰金；數額特別巨大的，處十年以上有期徒刑或者無期徒刑，並處罰金 。
【貪污罪】國有公司、企業或者其他國有單位中從事公務的人員和國有公司、企業或者其他國有單位委派到非國有公司、企業以及其他單位從事公務的人員有前款行爲的，依照本法第三百八十二條、第三百八十三條的規定定罪處罰。
