正直なところ「異性と会うのってそんなダメなのか？」とは思います。
わたしも仲の良い男友達と2人きりでごはんを食べに行ったり飲みに行ったりしますし、夫がたとえ同じことをしても何も思わない、むしろ「めいっぱい楽しんでおいでね！」と快く送り出し、家で「夜ごはんつくらなくていいなんて楽チーン！」とシャウエッセンを袋ごとレンジでチンしたものを手掴みで食べながら、酒をじゃぶじゃぶ飲んで撮り溜めしていたバラエティ番組を観て、それなりに満喫するタイプなんですよね。

だから、あなたの相談文から読み取れる「なんでだめなの？」という気持ちはわかります。
でもその線引は人によって違って、みんなが良いって言った！　みんなおかしくないって言ってる！　というのは通用しないのです。

大事なのは、パートナーが自分の行動に対してどう思うか。
よっぽど倫理的に反すること以外は、「相手が嫌がることをしない」というのは鉄則です。

彼と付き合って3年で、現在23歳ということは、付き合いたての頃は学生だったと仮定しますが、その頃ってわりと異性関係がガチガチになっていることが多いように思います。たとえば、一緒に下校するだけで周りの同級生から冷やかされたりだとか、好きな人がいることを仲の良い友達にだけこっそり打ち明けていたりだとか、彼氏が他の女の子とメールしているのを知っただけで「浮気された！」と泣いてしまう子がいたりだとか。

それは世界が狭いのですから、ある程度は仕方のないことです。
でも、大人になって社会に出ると、世界は一気に広がり、様々な人と知り合い、仕事関係で付き合わざるを得ない関係ができ、学生の頃とは環境が様変わりします。
そういった環境の変化を経験する中で、もしかしたら彼の考え方も変わっているかもしれません。

男友達と会うのは付き合い始めの頃から一貫して全て嫌なのか、2人きりはだめだけれど3人以上ならいいのか、男友達が彼も会ったことのある人ならいいのか、仕事関係なら仕方がないのか、ランチはいいけれど夜遅くに飲みに行くのはだめなのか、事前に言っておいてくれたら会ってもいいのか、そういった細かいディテールや彼の考えを全く知らないのであれば、あなたと彼は圧倒的に話し合いが足りていないように思います。

「彼が嫌がっているようで、わたしも男友達と会うのに気が引けてしまいます」というあなたの言葉から、「彼がなんか怒ってそうだし、でもその理由を聞く勇気もないし向き合う努力もしたくないから、ほとぼりが冷めるまで男友達と会うのを控えておこうかな～」「彼の方から何も言ってこず、彼の機嫌も元通りになれば、実際に彼がどう思っていようがお構いなしに男友達と会いたいな～」「彼に直接聞いて、いざ男友達と会うのをやめてほしいってはっきり言われたら正直怠いから、あやふやなままにしておきたいな～」という心の声が漏れ出てるようにわたしは感じたのですが、実際いかがですか？

「付き合い始めの頃は男友達と会うのを嫌がっていました」とご自身で言ってわかっているようですし、彼に追及されるまで言わなかったのは、心のどこかで「楽しみにしてることの前に不穏な空気になりたくない」「なんとなく責められそうで言うのを憚られた」という考えがあったからではないでしょうか。

結果的に彼に謝ったようですが、その謝罪の中には「男友達と会ってごめん、もう会わないよ」であったり、「先に言わなくてごめん、ちゃんと次からは事前に言うね」といった意味合いが含まれていなければいけません。
そういう気持ちが微塵もないのに「なんとなく彼の機嫌が悪いし空気も悪いから謝っておくか……」というのは、その場しのぎでしかない意味のないもので、きっと今後も同じことが何度も起こるでしょう。

もちろん、場の雰囲気を損ねないためだったり、なんでもかんでもいちいち突っかかっていてはキリがないからと、謝ることで丸く収まることもあります。
でも、今回の件はあなたたちが付き合い立ての頃からずっと続いていることですよね。 じゃあ、一度彼と向き合って話さないと。