離婚時雙方都不要小孩的，可以由人民法院先裁定暫時由子女父母一方進行撫養。後父母雙方可以就孩子撫養問題再進一步協商，按照有關法律規定確定由哪一方去撫養孩子，哪一方需要支付孩子的撫養費。如果父母雙方還是不能就孩子撫養權問題協商成功的，那麼要由法院作出判決。父母雙方拒不撫養孩子的，有可能會構成遺棄罪。
【法律依據】
《民法典》第一千零八十四條，父母與子女間的關係，不因父母離婚而消除。離婚後，子女無論由父或者母直接撫養，仍是父母雙方的子女。離婚後，父母對於子女仍有撫養、教育、保護的權利和義務。離婚後，不滿兩週歲的子女，以由母親直接撫養爲原則。已滿兩週歲的子女，父母雙方對撫養問題協議不成的，由人民法院根據雙方的具體情況，按照最有利於未成年子女的原則判決。子女已滿八週歲的，應當尊重其真實意願。
