彼氏に遊ばれてる

は高校一年生です。
私には5歳上の21歳(大学生)の彼氏がいます。
お互いに本当に好きで、ちゃんと付き合っています。

でも、どこかで未成年が大人と付き合うのは犯罪だと聞いたことがあります。
これは、体の関係があったら犯罪なのですか？
それとも、付き合うこと事態も犯罪なのですか？

付き合って半年たつのですが、やっぱり犯罪なのかなって不安です。