付き合ったばかりの

彼氏の相談です。弱い私のせいですが、彼氏から告白された時、私は怖くて断りきれず、付き合う事になってしまいました。彼は身体中に刺青があり、バツイチ子持ちです。今は堅気の仕事を真面目にやってますが、元ヤクザです。申し訳ないけど、私の感覚ではあり得ない相手です。言葉使いもキツく、怖いので、渋々好きですって事を私も言ってしまってる手前、今さらやっぱりなかった事に…とは言い辛く、墓穴ほってしまってる感じ。逆らうのが怖くて。そもそもなんで私に…って思うんですが…。金づるにするつもりなのか、彼が言うように、本気で惚れてくれてるのかわかりません。今は大事にしてくれてますが、やっぱり先考えたら無理です。しんどいし。
私の落ち度も重々わかった上で、うまく切れる方法ありませんか？