可以退，但要缴纳违约金。装修合同在签订时是双方自愿，并且依法签订的。在签订合同之后双方是要依法履行合同内容的，但若双方其中一方因自身原因毁约，就要承担违约责任，即便施工还没有开始也是要付违约金的。双方协商之后赔付违约金剩下的已经交付的钱款是可以退回的。若开工之前缴纳定金，甲方违约定金就不会退回，定金也就充当违约金，乙方违约则要退回定金还需缴纳违约金。