1913年、
徳島県三好郡三加茂町(現
東みよし町)の農家に三女、二男の次男として生まれる。両親を早くに亡くし、叔父に引き取られて
神戸兵庫区に転居。
1925年、浜山小学校卒業し、その年、兵庫尋常高等小学校に進学。卒業後、
1927年、
川崎造船所に
旋盤見習工として入社するが2年後、上司から仕事上の注意をうけ小突かれため、殴って退社。せっぱつまって山口組のゴンゾウ部屋に転がり込み、夜警の仕事に従事しつつ、バラケツ(不良少年)グループに加わっていた。仲間内では喧嘩相手の目を指で突く手口で恐れられ、「クマ」と呼ばれた。あるとき、山口組が用心棒を勤める芝居小屋の舞台に上がり、役者を追い掛け回すという乱暴を働いた。組員に制裁を加えられた上、組長の
山口登の前に引き出されたが、登は、このような乱暴者を野においておくよりは盃を与えて正式の組員としたほうが得策だと考え、しばらく行儀見習いに出すことにした。
田岡はかねてから、これからの極道はばくちで生きていくべきではなく、「正業」を持たねばならないというのが持論であった。もともと山口組は博徒とは違い、
沖仲仕の組であってヤクザではないとされており、合法事業と非合法事業の両輪で成り立っていた。彼は戦前の山口組の傾向をいっそう推し進め、むしろ彼の代に暴力を背景に「合法事業」を行うという経済ヤクザ化を急激に進めていったといえる。こうして、警察の取り締まりや
景気の動向に左右されやすいヤクザ社会において、資金源を確立していった。このため、舎弟や組員の一部を「堅気」の法人団体の長として、一切の組員を持たせず渡世との交渉をさせなかった。このようにして組の計画性と安定をもたらした点は その後の活動に大きな布石となった。