被害届けについては心配いらないでしょう（相手が出せるわけもないですから）が、職場へはいやがらせ電話などされてしまうかもしれませんね。事前に職場へは事情を簡単に話しておき（迷惑をかけることになって申し訳ないというお詫びも忘れずに…）、協力を求めるといいでしょう。次回、もし相手と話すようなことがあったら、会話を録音しておきましょう。脅し文句を言われたら、その録音を持って警察の生活安全課などに相談に行きましょう。