どうしたらいいですか？

やみ金被害にあっています、どうすればいいか教えてください。
私の携帯に金融業者から融資できますのでと電話が突然来ました。そのときお金に困っていたので、申し出を受けることにしました。そのとき信用貸付なんでと私の住所、口座番号、兄弟の名前、電話番号を聞いてきて教えてしまったのです。
それから私の口座に2万円振り込むから4万円で決済してくれと言われました。実際に口座に入金された金額は1万5千円でそれを言ったら、差額は手数料だといわれました。怖くなっていわれるとおり4万円を振り込んだんです。で、融資実行日の前の日に電話をしてくれと言われていたのですが、電話ができなくて、その当日に電話をしたら、さらに4万円振り込めといわれました。私ははじめにそんなこと言われてないし、前に4万円は振り込みました。融資はお断りします。キャンセルします。と反論したら、いきなり態度が変わり「お前馬鹿か、それはジャンプなんだよ。だから金払ってねーんだよ。お前の兄弟に電話するからな」といわれました。実際に兄弟の会社にまでに金返せと電話がかかってくるようになってしまいました。
私は口座も解約したので振り込まれることはないのですが、これからどうしたらいいでしょうか？警察には相談に行きましたが、相手にするなとそれだけです。
本当に馬鹿なことをしてしまいました。

弱気になってはダメですよ
無視もいいですし、電話がひつこく掛かったり、脅すなら録音して
録音したから今から警察に被害届けましますからと、
毅然とした態度で行きましょう

相手は東京の業社ですか？
無視で結構だと思いますが、あまりにヒドいようだと弁護士に相談してみるのも手です。
あいつらは警察は恐がりませんが弁護士を恐れる傾向がありますから。
ただし、経済的に余裕があればなんですけど。

あと、２番さんが言うように弱気になっちゃダメです。
付け込んできますから、恐いでしょうが勇気を出して毅然とした態度で臨んでください。
あなたはもう４万円も渡してるんだもん。実質、２万５千円の被害プラス脅迫、いやがらせの被害者なんだからネ。
ご家族、親類一同の協力を頼んでおきましょう。頑張って！

闇金に嫌がらせ等された場合は元金さえ払う必要がないそうですよ。

闇金からの貸付は「不法原因給付」で弁護士に突っ込んでもらえば元金ともに返済義務なし。ただし個人でそれを言っても効果なし。逆に業者になめられる。

5番さんのいう通り。
嫌がらせを続けるのは、何だかんだと因縁をつければ貴方がまだまだ金を払うカモだと思われているから。毅然とした態度と弁護士などによる然るべき措置、それで面倒な相手だと思われればそれでお仕舞いです。

みなさんありがとうございます。
なんとか負けないようにがんばってみます。それと弁護士にも相談しようと思います。ちなみに、業者は東京の業者です。

借り入れが都内で、あなたが兵庫だろ。まず回収はないよ。たまぁに地元の闇業者使って回収する馬鹿もいるけど、頼まれる方もリスクあるし、どうせ正式な債権譲渡の手続きは取れないから心配ないと思うけどね。

闇金は犯罪だから本当に無視するべきです。電話も話さないことです。電話番号を変える。またはすぐに切って着信拒否にする。または固定電話なら電話線を抜く、携帯なら電源を切るなどです。こちらの短期闇金対策を何度も読まれて強気になって撃退することです。

闇金ってある意味架空請求と同じようなもの。無視が一番ですね。