或许是因为那次受的伤实在太重，所以在日吉7岁的时候，弥右卫门就离开了人世，之后，他老婆带着两个孩子改嫁给了同村的老乡竹阿弥，但是日吉和新爸爸的关系相当不好，所以在他15岁的时候，便带了几块钱离开了那个家，从此再也没有回来过。
出走之后的日吉究竟干了些什么，至今没有人能完全知道。不过有一点能够肯定，那就是干的不是什么太正经的事儿，尽管他也做过卖卖针线之类的小本生意，但是大多数时间还是跟一群看着就不太像好人的家伙混在一起，比如山贼游寇之类的。在这个过程中，他认识了很多虽说身份低下，但对于后来自己的发展起到过关键性作用的人，像尾张地区的野武士头领——蜂须贺小六。
野武士就是没有主君但又不甘做浪人，于是便落草为寇，打仗的时候受雇于各诸侯，不打仗的时候在那里占山为王，做一些此路我开此树我栽的勾当。
在外流浪了十多年后，日吉于天文二十三年（1554）投靠了织田信长，成为了织田家的一名小者。
很多人都曾错把小者当做小姓，在此有必要做个说明。
小姓，也称侍童，通常由诸侯或者有权有势的人从家臣中的男孩里挑选出来，用于服侍自己的起居，如果主人好男色的话，那么小姓还有献菊的义务。
小者，学名打杂的，民间俗称下人，通常出身低微，做的事情也很微不足道，比如给主人倒马桶之类的，多半都是由这些人来完成的。不过，也不见得做小者都没前途，伊藤博文当年也干过这活儿，当然，具体是不是倒马桶的就不知道了。