Nazwa yakuza wywodzi się od tradycyjnej japońskiej gry karcianej zwanej hanafuda. Zwycięzcą rozgrywki jest gracz, który kończy grę z kartami w ręku, których ostatnia cyfra sumy była największa. Układ ya-ku-za oznacza 8-9-3 (wymowa w slangu), czyli najgorszą rękę w grze Oicho-Kabu. Termin yakuza nie występuje w tekstach ustawowych i nie jest oficjalnie używany przez policję.