キスしたのに「お前のことはどうでもいい」と言われた。彼の本音は？

大学3年の20歳です。中学の同級生のことが好きで、大学1年のGWに初めて彼の家に泊まりました。それから2年間で計4回ほどお泊まりしています。
1回目は手を繋いだりした程度でしたが、2回目から服の中に手を入れてきて、4回目には「いいでしょ？」と押し倒されキスされたりもしました。

私は彼のことが本当に好きだったのでキスを拒みませんでしたが、そこから先は付き合ってからしたいと思っていました。彼は私が彼のことを好きなのを知っているので、「俺のこと好きならヤらせてよ」と思っていたのかもしれません。
そのあと、関係をハッキリさせようと彼の車で「私のことどう思ってたの？　どういう気持ちでああいうことしたの？」と聞いたところ、「俺はお前のことなんとも思ってなかった。どうでもよかったからああいうことした。何も考えてなかった」と言われました。私は少し泣いてしまい、彼はなにか言っている途中でしたが車のドアを強くしめ、帰りました。

はたからみると、彼はヤリ目だと思われるかもしれませんが、私が拒むことは無理矢理してこようとはしませんでした。
それ以来、5年間続けたLINEも一切せず、会うこともありません。正直とても気まずいです。(彼も少しは罪悪感があると思うし、、)　その後、成人式で久しぶりに会い、酔った勢いで少し会話をしましたが、そのことについては言及しませんでした。

昔は、2人でカラオケに行ったらラブソングや私の好きな歌を歌ってくれたり、寝ている間はずっと腕枕してくれたりして、彼も私のことを少しは好いてくれているのかなと思っていただけにとても悲しいです。
私はまだ彼のことが好きで、会いたいと思うこともありますがこちらから連絡しづらいし、向こうから連絡してくることもないと思うので、きっとこのまま一生会うことはないのかなとも思います。(彼と私は現在どちらも実家暮らしなので家は近いです。)
中学が同じなので共通の友達はたくさんいて、このことを知っている人も数名います。
なにかこちらからアクションを起こすべきでしょうか？
アドバイスお願いします。

（追記）彼の車で話していたときは、私も彼もかなり感情的になり、ほぼ喧嘩のような状態で、最終的には「お前のことはどうでもいい」と言われました。

【読むのがめんどくさい人向け要約】
好きな男の子がいて、よくお泊まりもしてちょっとエッチな雰囲気もあったものの、付き合ってくれない男とはエッチしたくないから一線は超えなかったけど、はっきりしてほしくて問い詰めたら冷たくされて感情的になったら若干逆ギレされた。

・「俺のこと好きならヤらせてよ」と思っていたのかもしれません。
・はたからみると、彼はヤリ目だと思われるかもしれませんが、私が拒むことは無理矢理してこようとはしませんでした。
・正直とても気まずいです。(彼も少しは罪悪感があると思うし、、)
・彼も私のことを少しは好いてくれているのかなと思っていただけにとても悲しいです。