我离异两年，35岁，有房有车；他31岁，无房无车无存款。我们同事三年，今年五一期间他向我表白，随后一个多星期我们发生了关系。事后他提出借十万，说老家要造房子，我没表态，他又说是开玩笑（我们年薪约十万）。这次关系未采取任何避孕措施，我买药吃了，难受了好几天。我问他，他说是“不小心”，还说如果怀孕他就负责。我心里觉得负责也没用，吃亏的还是女人。我想分手，但碍于同事关系，怕日后难以面对。现在我很迷茫，请老师帮我简单分析。