律師解析：不是要家屬退贓，而是詐騙當事人必須要退贓，即便你不退贓，公安機關也會追贓的，法院判決沒收財產的。
不退賬就沒有減輕情節，量刑相對會長。
詐騙罪是指以非法佔有為目的，用虛構事實或者隱瞞真相的方法，騙取數額較大的公私財物的行為。
詐騙罪侵犯對象不是騙取其他非法利益。
法律依據：
《刑法》第二百六十六條
詐騙公私財物，數額較大的，處三年以下有期徒刑、拘役或者管制，並處或者單處罰金；
數額巨大或者有其他嚴重情節的，處三年以上十年以下有期徒刑，並處罰金；
數額特別巨大或者有其他特別嚴重情節的，處十年以上有期徒刑或者無期徒刑，並處罰金或者沒收財產。
本法另有規定的，依照規定。