Ab Skhy, agent des « porteurs-de-qualité », l'autorité du système solaire, débarque sur Sanfran, à cinquante années de voyage de la Terre. Sa mission : enquêter sur les « Charlatans », une mystérieuse organisation, peut-être une espèce extraterrestre, dont l'apparition s'accompagne de progrès technologiques parmi les mondes colonisés sous influence terrienne.
Le voyage commence qui conduira Ab Skhy de monde en monde, parmi des communautés disparates aux mœurs étranges ou trop familières, accompagné d'un télépathe immortel, d'un loup de mer et d'une aventurière « klepte ».
Cependant Cheval Fou, le cerveau animal enchâssé dans l'astronef qui relie Safran à la Terre, reçoit d'un congénère un message d'alerte : « Les porteurs-de-qualité ont décidé de se débarrasser de nous. »
Insolite, émouvant, Le temps du voyage est un space opéra picaresque dans la veine de Jack Vance à qui il rend hommage.