まず、“自分の意見を言う＝相手に対して怒る”という認識を改めましょう。
わざわざ顔を真っ赤にして語気を強めなくたって自分の意見はきちんと言えますし、むしろ冷静な状態の方が相手には伝わりやすいです。
感情が表に出にくい、なかなか怒りが相手に伝わりにくいという自覚があるのなら、なおさらのこと。
怒りの沸点を下げて溜め込んだパワーを思い切り放出する“激情型”の性格で相手をビビらせるようなやり方よりも、相手に自分の気持ちを伝えるタイミング掴み、そしてその伝え方のレパートリーを増やす方法をおすすめします。

あなたなりに、あまり深刻にならないようにという気遣いで、ほとぼりが冷めてから彼に言っているのかもしれませんが、ちょっとそれは逆効果では？　とわたしは思います。
「あのとき、あなたにこうされて嫌だったんだ～」「あなたは前にこう言ってたけど、実はわたしちょっとイラッとしてたんだよね～」と、あなたが昔の話を持ち出してしまうと、彼が「え？！いつの話してるの？？！」と驚いてしまうのは無理もありません。
あなたの中ではちょうど機が熟した頃かもしれませんが、彼からしたらとっくの昔に終わったこと。しかもそれを笑いながら冗談っぽく言われても「俺のこういうところが良くなかったんだな……気をつけよう……」とはなかなかなりにくいものです。
でも、あなたが「わたしの中では未解決事件なのに勝手に時効にしてもらっちゃ困る！」と憤慨してしまう気持ちもわかります。
せっかくお互いが愛し合って一緒にいるのに、タイミングのズレがストレスにつながってしまうのは悲しいですよね。

だからこそ、「あれ？」と思った時点で彼にちゃんと伝える努力をしましょう。
話し方が上手じゃなくても、言葉のチョイスにセンスがなくてもいいのです。
「わたしが今から言う内容は、とても嫌だったのであなたに治して欲しいこと。上手く伝えられないかもしれないけれど、今後あなたといい関係を続けたいから一生懸命話すね。とりあえず最後まで口を挟まずに黙って聞いて真剣に考えて欲しい。」ときちんと前置きをしていれば、彼はきっとあなたの言葉に耳を傾けてくれるはずです。
最初のうちはタイミングを逃してしまい、すぐに言えなかったとしても「わたしはすぐに怒れない性格だから今になって昔話を持ち出してしまうようで申し訳ないんだけれど、自分の中で時間をかけてちゃんと飲み込もうと努力してもやっぱりできなかったから言うね。解決するために一緒に考えて欲しい。」と、ぜーーーんぶ言えばいいのです。

片思い中の男性や、付き合いたてほやほやの彼なら、多少無理してでも会いに行くことはあると思います。
お風呂に入ってもう寝る準万端！　いつでも来いよ朝！　の状態で、そんな相手から突然「ちょっと会わない？」なんてLINEがきたら、明日の朝仕事で早かろうが、多少疲れていようが、せっかく綺麗に落として保湿もばっちりだろうが、また一からフルメイクして着替えて夜中にタクシーに飛び乗った経験がある人も多いのではないでしょうか。
でも、交際期間が長くなったり、一緒に住んだり、結婚をしたりすると、そんなことしょっちゅうはやってられないですよね。
それは、“関係を創る・生活を創る”ために使っていたエネルギーを、“関係を持続させる・生活の一部を重ねる”ためのエネルギーに変換させただけに過ぎないので、罪悪感を感じる必要は全くありません。

好きな人や気心の知れた人とならどれだけ一緒に過ごしても苦にならない人もいれば、たとえそういう関係でも自分だけの時間が欲しい人もいますよね。
ちなみにわたしもあなたと同じで、後者です。
わたしの夫は口うるさいタイプではないし、とてももの静かで一緒に暮らしていて楽チンで、いわゆる“無害な人”です。
ウマが合うし、話していて楽しいし、大好きだからこそ結婚しましたが、それでもわたしはたまに1人になりたいときがあります。
でもそれは、夫に問題があるだとか、一緒にいるのが苦痛だからというわけではなく、自分の時間を持つことで頭や心の整理ができ、その時間のお陰で夫と一緒に過ごす時間がより楽しく穏やかになれるから必要、というあくまでもわたし個人の性質のためです。
そういうときわたしは、「自分がどうしたいか、なぜそれをしたいのか、そうすることがお互いにとってどれだけ有益なのか」を夫に包み隠さずに話すようにしています。
他人である人間同士が「好き」という感情を取っ掛かりにして生活の一部を重ねるのですから、言葉を尽くすことが必要で、その努力をするからこそ「好き」が守られるのだと思います。