「相手は応えてくれるかも」と期待してない？

まず、セフレという関係性について掘り下げていきましょう。
過去に好きな人とセフレ関係に陥って苦しんでいる方からの相談でもお話しさせていただきましたが、生命の危険が及んでいたり、写真を撮られて脅されていたりなど、相手と関係を持たなければ自分の生活が脅かされる状況でない限り、基本的にセフレがいることは他者から批難される謂れはありません。また、双方の合意があり、きちんと避妊をして性病に気をつけたうえでお互いが楽しめているのであれば、成り立つ関係でしょう。
ですが、あなたの場合はそうではないようです。

ほんとうは彼と復縁したいけれど叶わない、でも彼との間にいい思い出があるからまだ縋っていたい気持ちがある、彼と縁を切る勇気はない、だから結果的に恋人に一番近い（と思える）関係がセフレだからそこに甘んじている、といった状況に見受けられます。
あえて厳しいことを言わせていただきますが、苦しいのならセフレでいるべきではありませんよ。

あなたは彼と別れた原因として「自分の行動がよくなかった」と仰っていますね。
嫉妬の仕方が下手くそだったり、思っていることをきちんと言葉で伝えられなかったりなど、きっと上手にできなかったことに対してたくさんの後悔と反省があるのでしょう。
恋愛に後悔と反省はつきもので、それは誰に言われるでもなく「もっとこうしておけばよかった」「なんであんなことしちゃったんだろう」と彼と別れてから何度も何度も思っているでしょうから、「それはよくなかったね、あなたが悪いよ」なんて言われた日には「もう！　わかってるってば！」と腹も立つかもしれません。
だから付き合っていた期間の言動に関してはわざわざ言及しませんが、それと合わせてもう一つ後悔と反省をしたらどうだろう？　と感じた点についてはお伝えさせてください。

それは、相談文に書かれている「学校でも職場（バイト先でしょうか？）でも顔を合わせるし、気まずいのは嫌だと思って予定が合えば遊ぼうよと、と切り出した」という部分です。
相談文を読んでいて、なんで？？！？　とびっくりしてしまいました。
別れたあとに顔を合わせることに気まずさ感じる気持ちはよくわかります。でも、だからといってどうして二人で遊ぶ必要があるのでしょうか。別れてきまずいのなんて当たり前ですし、気まずくないほうが稀です。
あなたが優先すべきは、傷を癒すために自分を散々甘やかすこと、その次はつらい感情を時間をかけて整理していくことです。別れた人といい関係を築くのは、後回し中の後回しでいいのです。

文章の端々から、あなたは「自分が頑張りさえすれば相手が応えてくれるかも」と心のどこかで思っているように感じたのですが、いかがでしょうか。
「付き合っているときに自分の気持ちをはっきりと伝えることができなかった」と書かれていること、また今も付き合っているときと同じような振る舞いをしている様子から、そう受け取れました。
別れたあと、彼を誘ったときに「俺に気持ちがないならいいよ。そっちがまだ好きっていう状態では成り立たない」と言われて「もう気持ちはない、大丈夫」と返していますが、ほんとうはまだ彼に気持ちがあるのだから大丈夫じゃないですよね。
彼の「お互いに好きの気持ちがなくて割り切れているならセフレという関係で俺はいいと思う、俺のこともう好きやないんやろ？」という言葉にうなずいてしまったというのも、まだ好きだと彼に思いを伝えても「じゃあもう会えない、終わりにしよう」ときっと言われる（だから伝えていない）というのも、そう。
明確に言葉にせずとも、自分がこんなにつらいことを彼に気づいてほしい、自分の気持ちを汲み取ってほしい、察してほしいと暗にアピールしている気がしてなりません。

付き合っていたときの失敗を全然反省していないでしょ、とは言いませんが、本心を伝える努力もしていないのに、「今の関係がつらい」「ひどい扱いをされてかなしい」と言われたところで、周囲はどうしてあげることもできないのです。
あなた自身の言動が引き起こした結果なのですから、しんどい気持ちに寄り添う反面、「まあ、そりゃそうなるよ」としか思えないのがわたしの率直な感想です。

彼と別れてからの一連の流れに対して、あなたは「なんであのような扱いをされたのか」と自分に対する扱いにショックを受けるとともに疑問も感じているようですが、「そういう扱いをしてもいいんだ」と彼に認識されても仕方がない行動を取っていると思います。
彼からしてみたら「そんなに好きでもない相手にエッチしようって言われたらどう思う？」なんてオブラートに包む気のない本音を言って振ったにもかかわらず、その相手が「もう好きって気持ちはないよ！　だから会おう！」と新たな関係を築こうと歩み寄ってきたうえに、「大丈夫！　割り切ってるよ！」とあっさりした（ように見える）テンションでセックスに応えてくれるのですから、相応の扱いをしてもいいと思うでしょう。
それは彼があなたの言動をまっすぐに受け取った結果ですし、あなたが本心では「復縁したい」と思っているなんて寝耳に水のはずです。

もしかしたら、彼はあなたの本心に気づいているのかもしれません。でも、本音を言ってくることもなく、セフレでいることを納得しているような振る舞いをしているあなたが実際にどういう気持ちなのかを慮ってやる必要は彼にないのです。
彼が誠実だと言い切ることはできませんが、「好きだという気持ちがあるなら会えない、セックスできない」と事前に断りを入れている時点で、筋は通しているのではないでしょうか。