不是必須要去起訴。雙方想要更改離婚協議，可以透過協商變更離婚協議，不需要有關部門同意，也不需要到一個機關辦理，只要雙方經過協商重新達成協議，重新簽訂一份新協議或者補充協議即具法律效力。《民法典》 第一千零八十五條 離婚後，子女由一方直接撫養的，另一方應當負擔部分或者全部撫養費。負擔費用的多少和期限的長短，由雙方協議；協議不成的，由人民法院判決。前款規定的協議或者判決，不妨礙子女在必要時向父母任何一方提出超過協議或者判決原定數額的合理要求。
