1944年3月7日、長崎県で生まれる。和歌山大学卒業。1966年に「主婦の店」(現ダイエー)に入社。海外商品や営業企画などの担当を経る。80年代前半、3期連続の赤字に陥った際、業務企画室長に就任し、業績回復に貢献した。
2001年にはダイエーの経営が火の車の真っ最中、リクルートより本社へ呼び戻され、リクルート専務からダイエー社長に就任。経営再建中には、中内がこだわっていた球団を長年、売却を阻止をする。一方、メーンバンクからは
産業再生法を適用の元、再建をすることを勧められていたが、適用すると球団を手放す可能性が発生するとのため、頑なに拒否して自主再建にこだわる姿勢をずっと崩さなかった。後に、銀行との長時間に渡り、話し合いをした結果(半ば強制的とも言われている)、産業再生法適用を決断する。適応までは連日のように、報道陣は高木氏の自宅周囲で陣をとっていたほか、
テレビ東京系のドキュメンタリー番組
ガイアの夜明けでは、高木の様子や、ずっと自主再建にこだわっていた強い姿勢なども取り扱った「ダイエー迷走劇の真相」が放送された。