在日文中，やくざ一词就反应了黑道成员卑下的地位。这个词源自日本的牌戏"おいちょかぶ(Oicho-Kabu)"."おいちょかぶ"类似于21点，游戏 的输赢由每手牌点数之和的尾数大小决定，最小点数为0.如果摸到8、 9、3三张牌(三张牌之和为20)，那么这到了19世纪晚期，日本黑帮与"民族主义"、"军国主义"和政治联系到了一起。许多黑帮开始与政客勾结政客利用他们暗杀对手，武装贸易集团，甚至参与了与周遭国家的战争。二战后，日本黑帮借助混乱的局势进一步加强了在日本的政治经济地位。
日本的黑道家族表面上和黑手党家族的结构一样，由组长(kumicho,相当于黑手党的教父)来统管整个家族，在他之下还有若干舍弟、干部、若头，形成一 个金字塔结构。此外，各地区还有各地区的头目、副手、顾问以及众多的普通会众，这让日本黑帮的结构更加复杂。有的黑帮家族的结构有所不同，是由小帮派结成 的联盟。
"やくざ"原指黑帮分子，但是现在这个词也泛指日本的有组织犯罪。暴力団（Boryokudan）与やくざ同义，它是一个贬义词，指那些没有传统荣誉感的暴徒。日本警方在提到黑帮分子时，常用"暴力団"一词。
日本黑帮直接起源于18世纪一些准合法的商人，他们在大城市的街道上开设赌场或兜售商品，被人们称为"博徒(bakuto)"和"的屋 (tekiya)",也就是指巡回的赌档和商贩。后来这些人逐渐结成团伙，并发展成等级清晰、规矩森严的黑道家族或帮派。至今，日本的黑社会团伙中仍有被 称为"博徒"和"的屋"的两派。
