すっぱり切るのが賢明な判断

あなたは、彼のことを「恋愛感情とはまた違う大切な気持ちをお互いに感じてきた元彼」と表現しています。
ひとえに友達と言っても濃淡があるように、人間関係を一言で表すのは難しく、当事者同士にしかわからない部分はたくさんあります。
まあ、大切な人だからこそ、彼の幸せを願う気持ち、彼と連絡を断ってしまう寂しさ、彼のあやふやな態度に対する怒りが混在しているのでしょう。
ただ、あなたたちが長い間精神的に支え合ってきた大切な存在であろうと、残念ながら第三者から見ると、ただの元カレ／元カノの関係に過ぎません。

あなたと彼の二人だけの世界であれば、その感情や関係はたとえ誰に理解されなくても問題はないと思いますが、彼の新しい彼女が関係してくる以上、彼女や周りの人間がどう思うか決して無視できるものではないですよね。
新しい彼女からしたら「別れたけれどそのあとも大切な存在」「恋愛感情とはまた違った大切な気持ち」という細かいディティールは一切関係なくて、なんだったら理解し難いものだと思います。厳しいことを言うようですが、「今もまだ好きなんじゃないの？」「別れたあとも体の関係があったんじゃないの？」と疑いを持たれてしまう可能性もあるわけです。
いくらあなたと彼が「そういう関係じゃない」「恋愛感情とは違った大切な気持ちなんだ」と主張したところで、きっと伝わらないでしょう。
彼もそれをわかっているからこそ、あなたの存在を新しい彼女には伝えていないのではないでしょうか。

あなたが自分の感情を抜きに彼の幸せを願っていて、彼に必要なのは自分ではなく新しい彼女だと認められるのであれば、彼との関係をすっぱり切るのが賢明な判断だと思います。

なぜ彼を手放したくないか考える

とはいえ、いくら彼の幸せを心から願っていても、いざ彼との関係を断ってしまえば、寂しさは伴うでしょう。4年も一緒にいた大切な人なのですからね、気持ちはわかります。
正直、元カレ／元カノの関係って、嫌い合って憎み合って別れたわけでないのであれば、結構楽チンなんですよね。
お互いの魅力を知っているからこそお付き合いをしたのでしょうし、別れてからも付き合いがあれば新たな魅力に気づくこともあるでしょう。そして、相手の欠点もわかったうえで関係が続いているのであれば、今さらかっこつける必要もなく、それゆえの安心感もある。
自分の素を見せられるし、頼りやすいし、言いたいことも言いやすい。
別れてからも体の関係があろうとなかろうと、言葉はすこし悪いですが“手軽で便利で都合のいい関係“であることは否定できないと思います。そういった結びつきを鑑みると、あなたも彼も係性を断ち切ることに相当なエネルギーを要すのではないでしょうか。

彼に対して「どっちも大切にできていないじゃないか」というあなたの怒りも、ごもっともです。
最初の約束を反古にしているのですから、不誠実ですよね。
ただ、「約束を破るなんでひどい、嘘つきだ」という腹立たしい気持ちはわかるのですが、ひとつ気になる部分があります。
それは、相談文に書かれている「彼女に私の存在や付き合っていたことを何も話しておらず～」のところ。

あなたは、「彼が新しい彼女に自分たちの関係をきちんと話していたのなら誠実だ」「彼女の理解を得られたのなら彼とはこれまで通りの関係でいたい」と心のどこかで思ってらっしゃるように感じたのですが、いかがでしょうか？
たしかに、彼はどちらにもいい顔をしようとして、すいぶん都合がいいなぁ～とは思います。
でも、彼が彼女に対して誠実であるかどうかはあなたに関係のない部分ですし、そもそも「恋人ができたら交流を断つ」約束だったわけですから、あなたが彼と彼女のやり取りにそこまでモヤモヤを抱く必要はないように感じました。
彼のどっちつかずの態度のせいで、「彼はわたしのことをほんとうに大切に思ってくれている」と期待してしまっているのであれば、今のあなたの立場を冷静に鑑みてほしいと思います。