遠隔地の金融機関でも、預金をしている可能性が見られればすべて税務調査を行います。

分かってしまうと考えたほうがいいでしょう。
銀行預金の調査は、相続税の申告書に記載されている銀行だけで行われるわけではなく、被相続人の住所地の近くにある銀行や勤務先の近隣の銀行、勤務先の取引銀行に書面での照会を行う事も多々あります。また、被相続人名義のものばかりでなく、相続人や同居の親族の名義のものにも行われます。

そのため、遠隔地にある預金がわかる事が多々出てきます。

その他、臨宅調査を行ったときにその家の電話帳を見て金融機関の電話番号を控えています。
また香典長もチェックされます。
（香典長には香典をくださった方の住所・氏名・香典の金額が記録されています。）
取引がある銀行の支店長などは香典を持ってくる事が多いものです。
預金額が小さければ香典をあまり持ってきませんが、預金額が大きくなるとちゃんと香典を持ってきます。
しかもほとんどの場合、香典の額が預金額の大きさに大体比例しています。
そのため遠隔地にあるといっても取引のある金融機関名は把握されてしまいます。