Jerry se unió a Misfits en el año [[18771977]], pocos meses después de haber recibido su primer bajo como regalo tardío de navidad. Durante su época en Misfits también trabajó en la fábrica de su padre durante los días de semana para financiar a la banda, lo cual solo le dejaba libre los fines de semana para tocar y grabar. Jerry en principio adoptó el seudónimo Jerry Caiafa pero cuando el [[cantante|vocalista]] de la banda [[Glenn Danzig]] confundió la ortografía de su apellido en los créditos del primer [[sencillo]], [[Cough/Cool]], le rogó que para la próxima vez escribiera "Jerry only" (en español: "solo PerryJerry"). Irónicamente, Danzig lo acreditó como textualmente le había pedido en su siguiente material y el apodo perduró desde entonces. Only continuó en la banda y le abrió la puerta a su hermano Paul, mejor conocido como [[Doyle Wolfgang von Frankenstein]], para tocar la [[guitarra]] en la misma. Sin embargo, en [[1983]] la banda se separó por diferencias personales entre el cantante Glenn Danzig y el resto de los integrantes. Poco después de eso, Jerry y su hermano Doyle formaron [[Kryst The Conqueror]]. En [[1995]], culminó una batalla legal con el co-fundador de Misfits Glenn Danzig que le permitió a Jerry los derechos sobre el nombre de la banda para su utilización dividiendo el dinero obtenido por su comercialización entre los actuales miembros y Danzig. Luego de esto, Only reformó la banda con Doyle en guitarra, [[Michale Graves]] como [[Cantante|vocalista]] y [[Dr. Chud]] en la [[Batería (instrumento musical)|batería]].
Chud y Graves dejaron el grupo en [[2001]] para formar la banda [[Graves (banda)|Graves]]. Fueron reemplazados en el M25 tour por [[Dez Cadena]], antiguo miembro de [[Black Flag]] y [[DC3]] en guitarra, y [[Marky Ramone]], antiguo miembro de [[The Ramones]], en batería. A comienzos de [[2005]] Marky dejó el grupo y Jerry trajo al baterista ex-Misfit y Black Flag [[ROBO]] para unirse a Misfits. De esta manera, Only ha sido el único miembro de la banda que tocó en todos sus discos.
