儿子六岁,特别黏我,在家里只有我比较在乎儿子的感受。其他人不愿意倾听,总会曲解儿子的意思,所以他比较听我的话,同时也很期望跟我在一起,平时有些忙,陪他的时间不多。很担心分开后儿子的性格会有缺陷。我一个人也养不起他,不离婚是不可能的,对这段婚姻绝望了,我该怎么办?