诈骗罪都要退赃吗

必须要退赃。
必须要退赃，即便行为人不退赃，公安机关也会追赃的，法院判决没收财产的。不退赃就没有减轻情节，量刑相对会长。
诈骗罪，如果将钱退给对方，根据其恶劣程度来进行宣判，退还诈骗钱财只是作为减轻处罚的一种。
对于退赃、退赔的，综合考虑犯罪性质，退赃、退赔行为对损害结果所能弥补的程度，退赃、退赔的数额及主动程度等情况，确定从宽的幅度。
法律依据：
《中华人民共和国刑法》第二百六十六条
诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。本法另有规定的，依照规定。