爱华网2013年11月5日，日本众议院国家安全保障特别委员会上，民主党议员近藤洋介对安倍晋三提出质询，认为他长期居住在自己家中，不利于国家安全。一旦遇到大地震等紧急事态，安倍无法迅速抵达官邸实施指挥。
对此，内阁官房长官菅义伟回应：“包括骑坐摩托车在内，不管遇到什么样的紧急事态，我们都能保证首相在15分钟之内赶到官邸。首相住在家中，没有任何问题。”此言一出，惊呆了在场的所有议员，让首相坐在摩托车后座满街跑15分钟，实在太荒唐。15分钟虽然不长，万一遇到道路毁坏的情况，那又该怎么办?
自安倍晋三“梅开二度”继任日本首相至今，首相公邸就一直空荡荡的。一名在野党议员猜测认为，安倍迟迟不入住是因为里面闹鬼。2013年6月，安倍晋三在一档电视节目中提到，“(我)从森喜朗前首相那里听到过有关幽灵的事情。一般来说，幽灵是没有脚的，但是(森喜朗)看到的却没有上身只有脚。”当被问及是否惧怕幽灵出现时，他说：“没有这回事。”
一个月后，面对“还有人担心您不会进首相公邸”的疑问时，安倍却反转性地以“因为这里闹鬼，所以我不想住在这里，真的很害怕，咱们一起住在这儿吧”作答。如此反反复复，让人不禁对公邸闹鬼的传闻产生遐想。
白宫style的忍者屋
从银座经过樱田门，迈入两旁种满银杏树的大道，走到尽头，你就能看到威严雄伟的日本国会议事堂。在它对面的一处高台上，日本首相官邸(又称总理大臣官邸)屹立其中。自2002年建成至今，这座五层楼高、具备承受大地震和核打击能力的长方形建筑一直扮演着日本首相办公室的角色。
在日本，首相官邸和公邸是两个概念，官邸专指首相的办公厅舍，公邸为其住所，有时，公邸和官邸同在一个建筑里。过去日本首相官邸位于东京永田町。这座官邸有4个门，四周设有2米多高的水泥围墙，并装有4根电线，连一只小鸟落在上面，报警器都会自动发出声响。
旧官邸的内阁会议室、首相办公室及首相专车装有防弹玻璃。如果首相在公务之余去饭馆品尝美味佳肴，保安警察就会严格控制饭店的大门附近，监视周围动静。当首相外出运动时，随同前往的保安警察就得扮成风度十足的运动员，眼观六路，耳听八方，随时提防意外的发生。
由于这座老官邸是1929年落成投入使用的，陈旧的设施无法适应现代政治活动的需要。1987年，时任日本首相的中曾根康弘首次提出修建新首相官邸的建议，到小渊惠三内阁时期，总投入约为700多亿日元的新首相官邸的修建方案和计划才正式通过。
2002年4月底，位于旧首相官邸的西侧的新官邸落成。它占地2.5万平方米，总造价为647亿日元。新官邸是一座日式庭院，庭院四周种满了900多株竹子，院中还有岩石和流水。据称，宽阔庭园的设计来源于美国白宫建筑风格。
新官邸地上5层，地下1层，其中，3-5层为政务办公场所，4层召开内阁会议，1层是记者会见室。具备防恐和防核攻击功能的危机管理中心设在了地下1层。
整座官邸配备了先进的办公设备：铺设光缆，为煤气、水、电设置双重系统，楼顶上还可以停降直升机。与其说它豪华，倒不如说它实用。新官邸不仅拥有先进的信息通讯设备，在抗震方面也是目前日本最强的建筑。即便是在官邸与外界断绝往来的情况下，政务仍可以维持正常运转。
更重要的是，新官邸外面覆盖着5厘米厚的防弹玻璃。它对出入人员的管理非常严格，就算是首相本人忘带通行证，也照样进不了首相府。官邸大厅入口设在第3层，记者采访席被设置在入口处的一角。首相步入大厅时记者可以进行采访，但不能追随采访。“为了保证首相的安全和防止日本对外政策被泄露”，原则上严禁记者进入第4层会议室和第5层的首相办公室。这项措施使原来在旧首相官邸出入自由，甚至能与首相同桌吃饭的“官邸记者”有很大的意见，他们戏谑地称其为“忍者屋”。
住公邸是首相“长命”秘诀
新官邸建成后，重达两万吨的旧官邸建筑整体搬家五十米，改造为现在的首相公邸——闹鬼的传言便出自这里。
1929年，与旧官邸同时竣工的，还有位于其西南角的首相公邸，二者用走廊相连，分布在一栋三层德式建筑的两边，当时的公邸只有508平方米，因其内部以和式为主，故称“日本间”，用来作为日本首相的日常生活起居之处，建成之后有六任首相在这里居住过。1936年，“日本间”在“二二六事件”中被毁，后经维修改做办公室。作为日本首相公邸的替代设施，日本政府虽于第二年在官邸院内修建了一座木结构的两层小楼——日本家，但它仅限于开会和休息，没有首相在此居住。1945年，美军空袭东京，日本家毁于一旦。
1968年，“日本间”修缮一新，重新成为首相住所，佐藤荣作以首相之身入住，且这一住，就是八年。此后，日本首相大都循此例。作为日本战后任期最长的三位首相，佐藤荣作、中曾根康弘、小泉纯一郎在这里度过了五年以上的岁月，为此，坊间流传着住公邸是首相“长命”的秘诀之说。
但就是这“长命”秘诀，安倍晋三偏偏不要。他非要住在东京涩谷区富谷的私宅，让承担警卫工作的东京警视厅倍感压力。内幕人士认为，安倍之所以不愿入住首相公邸，原因可能跟该公邸的易沾“霉运”和“闹鬼”传闻有关，多名入住过首相公邸的日本前首相都对此住所印象不佳，野田佳彦入住没几天就撞伤右眼，小渊惠三决定进行官邸改建后，突然脑溢血不治身亡;就连安倍晋三本人，首次当选日本首相后入住不到1年，就因患了疟疾闪辞。
之后继任的自民党首相们更是拼命拖延入住首相公邸的时间，福田康夫拖了110天才入住，麻生太郎比他还多7天，如今的安倍晋三已成功刷新麻生太郎纪录，成为最怕搬入首相公邸的日本首相。
