Se dice que en el año [[1962]], antes de entrar a The Kinks, participó brevemente con [[The Rolling Stones]] cuando estos se presentaron por primera vez en el Marquee Club de [[Londres]]. Al poco tiempo sería reemplazado por [[Charlie Watts]].
Al ingresar aen The Kinks, en enero de 1964, se destacó por ser uno de los músicos más tranquilos y accesibles, siendo uno de los mejores amigos de [[Ray Davies]]. La relación laboral no sería tan fructífera con el hermano menor de Ray, el guitarrista [[Dave Davies]]. Las diferencias con el más joven de los Davies llegarían al punto más alto el año 1984, cuando Avory decide renunciar a la banda. Por un acuerdo con Ray Davies, él pasa a trabajar como mánager de Konk Studios, lugar donde la banda ha hecho gran parte de sus grabaciones. Con el paso del tiempo la relación de Avory con los hermanos Davies mejoró, incluso participó con la batería en una canción del álbum ''Think Visual'', escrita por Dave Davies. Ray Davies le pidió regresar a la banda, pero el se negó, conservando su puesto de mánager.
