どうしたらいいですか？

やみ金被害にあっています、どうすればいいか教えてください。
私の携帯に金融業者から融資できますのでと電話が突然来ました。そのときお金に困っていたので、申し出を受けることにしました。そのとき信用貸付なんでと私の住所、口座番号、兄弟の名前、電話番号を聞いてきて教えてしまったのです。
それから私の口座に2万円振り込むから4万円で決済してくれと言われました。実際に口座に入金された金額は1万5千円でそれを言ったら、差額は手数料だといわれました。怖くなっていわれるとおり4万円を振り込んだんです。で、融資実行日の前の日に電話をしてくれと言われていたのですが、電話ができなくて、その当日に電話をしたら、さらに4万円振り込めといわれました。私ははじめにそんなこと言われてないし、前に4万円は振り込みました。融資はお断りします。キャンセルします。と反論したら、いきなり態度が変わり「お前馬鹿か、それはジャンプなんだよ。だから金払ってねーんだよ。お前の兄弟に電話するからな」といわれました。実際に兄弟の会社にまでに金返せと電話がかかってくるようになってしまいました。
私は口座も解約したので振り込まれることはないのですが、これからどうしたらいいでしょうか？警察には相談に行きましたが、相手にするなとそれだけです。
本当に馬鹿なことをしてしまいました。

5番さんのいう通り。
嫌がらせを続けるのは、何だかんだと因縁をつければ貴方がまだまだ金を払うカモだと思われているから。毅然とした態度と弁護士などによる然るべき措置、それで面倒な相手だと思われればそれでお仕舞いです。

みなさんありがとうございます。
なんとか負けないようにがんばってみます。それと弁護士にも相談しようと思います。ちなみに、業者は東京の業者です。

借り入れが都内で、あなたが兵庫だろ。まず回収はないよ。たまぁに地元の闇業者使って回収する馬鹿もいるけど、頼まれる方もリスクあるし、どうせ正式な債権譲渡の手続きは取れないから心配ないと思うけどね。

闇金は犯罪だから本当に無視するべきです。電話も話さないことです。電話番号を変える。またはすぐに切って着信拒否にする。または固定電話なら電話線を抜く、携帯なら電源を切るなどです。こちらの短期闇金対策を何度も読まれて強気になって撃退することです。

闇金ってある意味架空請求と同じようなもの。無視が一番ですね。