Ganó el premio de Periodismo Planeta en 1999 con su obra ''No es por aguar la fiesta'', libro que agrupó sus diferentes notas políticas publicadas. También escribió, junto con [[Juan Carlos Iragorri]], el libro Patadas de ahorcado (2002).
Sus columnas en la revista Semana son muy leídas y suelen ser copiadas a manera de editorial ad hoc en revistas asociadas con el partido comunista colombiano, como Voz (antes conocida como Voz Proletaria). No obstante la inclinación más bien aburguesada de Caballero y su estilo emocional y poco objetivo riñen con las visiones de izquierda más tradicionales.
Caballero es un furioso anti-uribista. Tanto que ni se da cuenta cuando el régimen hace algo bien. Esta postura emocional y fuertemente sesgada ha sido característica de su trabajo periodístico por siempre. Escribe desde el estómago y no se preocupa por el sustento en datos o hechos... es un enemigo consistente de cualquier cosa que no le guste. En sus escritos periódicamente aparece alguna diatriba antisemita... es hormonal y parece que su diatriba antisemita se funda en algún donativo periódico...
