Fue el tercer hijo de [[Imagawa Ujichika]].FueenviadoCuando aera un temploniño cuandofue eraenviado a un niñotemplo y su nombre fue cambiado a Baigaku Shōhō. Disturbios estallaron cuando su hermano mayor, Ujiteru, murió de repente (algunos dicen que fue envenenado) en [[1536]]. Su medio hermano mayor, Genkō Strata-Etan, trató de aprovechar la oportunidad de heredar el liderazgo pero éste se dividió en dos facciones. La facción de Yoshimoto alegó que la madre era la consorte de Ujichika, por lo que él era el legítimo heredero. La facción de Genkō Strata-Etan alegó que ya que él tenía mayor edad, él era el legítimo heredero. La madre de Genkō Strata-Etan era una concubina y un miembro de la familia Kushima, pero fueron derrotados y muertos en el Hanakura. Shōhō cambió su nombre a Yoshimoto en este momento y logró tomar el liderzgo del clan. Las relaciones con el [[Clan Hōjō tardío|clan Hōjō]] empeoraron cuando Yoshimoto se casó con la hija de [[Takeda Nobutora]] (madre de Ujizane). Repelió los ataques del clan Hōjō, y les arrebató el control de una amplia zona, incluiyendo las provincias de Suruga, Totomi, y Mikawa.
