Namun Taoka muda belum mengetahui seluk beluk geng Yakuza terbesar itu ketika awal ia datang ke Kobe.
Awalnya Taoka bekerja di sebuah bengkel pembuatan kapal Kawasaki di kota pelabuhan Kobe, namun tak lama karena insiden pemukulan terhadap atasannya di tempat ia bekerja tersebut, Taoka diberhentikan dari pekerjaannya.
Baca Juga: Takut Bayinya Dijual Sang Suami, Seorang Ibu Nekat Buang Bayinya Bersama Sebuah Surat
Kuma, sapaan Taoka, mengawali perjumpaannya dengan dunia gelap gangster Jepang pada tahun 1930, setelah ia keluar dari pekerjaan lamanya sebagai pembuat kapal Kawasaki.
Berotot dan dengan reputasi sebagai pejuang yang ganas, "Kuma" (Beruang) atau "Taoka the Cutter" julukan yang melekat oleh anggota yang lebih tua.
Tak lama setelah menjadi anggota Yakuza, Taoka terjerat kasus hukum karena penganiayaan parah, dengan masa kurungan satu tahun.
Selepas menyelesaikan hukuman kurungan, ia kembali masuk bui pada bulan Februari 1937, kali ini kasusnya lebih parah, ia membunuh salah seorang anggota geng Onaga yang ternyata adalah adik kandung dari ketua geng tersebut.
Karena kasus ini ia dijatuhi hukuman penjara selama 8 tahun.
Sementara Taoka dipenjara, bos geng Noboru Yamaguchi-gumi (geng Yakuza yang menauinya) terus berselisih, pada musim semi 1940 ia menderita cedera serius dalam perang wilayah dengan cikal bakal geng Goda Ikka saat berada di distrik Asakusa di Tokyo.
Setelah melayani 6 ½ tahun, Taoka bebas lebih cepat setelah mendapatkan amnesti dari kekaisaran pada bulan Juli 1943.