自分の気持ちは大切に。まずは不安材料をなくしていく

まず、あなたが抱えているパニック障害について。
パニック障害について詳しくない方に簡単に説明すると、パニック障害とは前触れもなく動悸やふるえ、息苦しさ、吐き気、めまいなど（個人によってその症状や程度は様々です）のパニック発作を起こしてしまう病気です。
何度も発作を繰り返すことにより「またパニック発作が起きたらどうしよう」という過度な不安、発作への恐怖から、公共の交通機関や自分が運転する車での移動を避けるようになり、外出が困難になる場合があります。
中には、学校や仕事に行けなくなる人も少なくありません。

パニック障害の治療には薬物療法が用いられることが多いのですが、その薬を飲んだからといってすぐに完治するものではなく、生活習慣の見直しや認知行動療法などと合わせて、多角的かつ長期的な目線での治療が重要とされています。
あなたが今どういった生活をしているのか、そしてお仕事をされているのかはわかりませんが、薬剤師として医療に従事している立場からすると、環境を変えることはとても心配です。

現在は治療中と書かれていることから、今の医師との信頼関係は築けていると推察します。
特にパニック障害のような寛解と増悪を繰り返す病気は、基本的に病院を変えることは望ましくない（ただし、医師との相性が悪くて病院を変える、セカンドオピニオンを受ける、病状の変化や新たな症状の出現によって適切な治療を受けるために専門医に診てもらう場合などは除く）ため、移住先でも信頼できる医師のもとで適切な治療を受けられるのかどうかは事前に確認すべきだと思います。

今の暮らしには近くに家族や友達など頼れる人がいるでしょう。きっと、あなたも気づいていないところでたくさん助けられたはずです。
彼のもとへ移住して、知らない人ばかりで頼れる人が彼しかいない環境でどうやって暮らしていくか、具体的に考えたほうがいいのではないでしょうか。
少なくとも、知らない土地に引っ越すこと、環境を変えることは今の病状で可能か、そしてそれはあなたにどんな影響を及ぼすことが考えられるかは、かかりつけ医に相談することを医療従事者の一員として強くおすすめします。

次に、妊娠を望んでいることについて。
好きな人との間に子供を望む気持ちは、とてもよくわかります。
ただ、今年で41歳となると、医学的に考えても妊娠する確率が低かったり、子供が障害を持って生まれる確率が高くなったり、体への負担が大きかったりと、様々なリスクがあります。
もし不妊治療を選択するとなると、精神的にも肉体的にも大変な思いをするでしょうし、不妊治療の段階によっては経済的な負担も避けられません。
あなたもそれがわかっているからこそ、焦っているのでしょう。

もちろん、子供の障害の有無には遺伝的な素因もありますし、母体の年齢にかかわらず障害を持った子供が生まれる確率はゼロではありません。
なにより、妊娠時の体調や出産のたいへんさは人それぞれ違います。
また、あなたは持病を抱えていますし、もしかしたら治療のために薬を服用しているかもしれません。
ですから、パニック障害と付き合いながら、そしてその治療をしながらの妊娠・出産・育児についても、生活環境を変えようと考えている件と合わせてかかりつけ医には相談してほしいと思います。

決して脅しているわけではありませんが、医学的な数字を見ても現在40歳を過ぎているあなたは様々な視点から妊娠・出産・育児について考える必要があるのではないでしょうか。
そしてそれについては、彼ともきちんと話し合う必要があると思います。
そもそも彼は結婚についてどう考えているのか、子供はほしいと思っているのか、もしできなくても一緒にいたいと思っているのか、不妊治療についてどう考えているのか、年齢的なリスクについてはどういった認識があるのか……これらは彼と共有したおいたほうがいい重要なことです。
あなたの願望や意志だけで決められる問題ではないということを、まずは認識していただけたらと思います。

わたしは、ある程度人生には勢いが大事だと考えています。
ごちゃごちゃ考えている暇があったらさっさと行動しちゃお！　やってダメだったらやめればいいんだし！　と、感情を優先させて行動することも時には必要で、いい方向に傾くことが多いと思います。
ですが、それだけではいけないときもあるのです。
自分の気持ちは大切にしてほしいのですが、パニック障害という事情があるのであれば、できるだけ不安材料がないほうがいいと思います。

たとえば、今のかかりつけ医に移住先の病院を紹介してもらえるとか、病気が快方へと向かっていて医師から移住は問題ないと太鼓判を押されたとか、彼の住んでいる場所にも頼れる友達がいるとか、資格やツテがあってすぐに復職できるとか、当面の間働く必要のないくらい資産を持っているとか……そういった後ろ盾がいくつもあって、万が一のときやしんどい状況に陥ったときに、休んだり、抜け出せたり、助けを求められるようにしておいたほうがいいのではないでしょうか。

気持ちだけでなく、具体的な話し合いを

相談文にはあなたの気持ちをたくさん書いてくださいましたが、あなたに関わる人たちの気持ちがあまりよく見えてこないな、と感じました。
書いてあるのは、彼の「一緒に暮らしたい」「（でも）地元は離れられない」という言葉と、家族（親御さんでしょうか？）の「体を治してからじゃないと行かせられない」という言葉。
実際はいろいろと話し合っているのかもしれませんが、お子さんとはどういった話をされましたか？

民法改正で成人年齢が引き下げになり、現在19歳であるあなたのお子さんは成人という扱いになりましたが、学生ということはおそらく扶養に入っているでしょうし、あなたの庇護下にあります。
どういった生活環境なのかは相談文からは推し量れませんが、少なからずお子さんの環境に変化が及ぶわけですから、あなたの気持ちだけではなく生活に関する具体的な話し合いは必須ではないでしょうか。
「子供に反対されたからやめる」「子供が賛成してくれたから行く」とお子さんの意見を判断基準にし、間接的に決断を委ねるように促しているわけではありませんからね。
お子さんの感情を無視して物事を進めないでほしい、ということをお伝えしたいのです。
親離れ／子離れできていないという具体的な内容が書かれていないのでわかり兼ねますが、そのあたりも合わせてお子さんとはしっかり話すことをおすすめします。
年齢的にも分別がつくでしょうし、状況の理解や判断はできるはずですから。

先に書いたようにかかりつけ医の医学的知見からの助言、彼が今後についてどう考えているか気持ちだけでなく将来に向けての具体案、そしてご家族から見えるあなた現在の病状についての冷静な意見には、きちんと耳を傾けましょう。
「体が治してからじゃないと行かせられない」という心配の言葉は、ごもっともだと思いました。