安倍が幼い頃に両親が離婚。安倍は「母は死んだ」と聞かされていたが、山口県立山口中学校(現
山口県立山口高等学校)に進学した際、母親が生きていて東京で再婚していると聞かされる。安倍は二度に渡り上京し母親の居所を探すも、再会は叶わなかった。山口中学から一年間浪人した後、
岡山県の
第六高等学校に入学。翌年
東京帝国大学法学部に推薦入学する。
学徒動員で
海軍に入隊する前夜、父親から母について家の事情で離婚したことと、再婚して子供(この異父弟が、後に
日本興業銀行最後の頭取となる
西村正雄である)をもうけた後、亡くなったことを聞かせられる。敗戦直後に父と祖父を相次いで亡くす。