Il me semble que c’est un trait de Sénèque de se présenter en maître bien imparfait. Ainsi reconnaît-il perdre aussi son temps (« non possum dicere nihil perdere »). Certes il atténue son défaut en revendiquant la conscience précise et exacte d’une telle perte :

« Mais je dirai ce que je perds, et pourquoi, et comment » (trad. Noblot)

L’analogie avec l’argent est manifeste :

« Mon cas est celui d’une personne qui mène grand train, mais qui a de l’ordre ; mon registre de dépenses est bien tenu »

Paul Veyne ajoute la note suivante :

« Sénèque ne veut pas dire qu’il mène un grand train de fortune, mais qu’il dépense largement son temps, qu’il déploie beaucoup d’activité chaque jour » (p.604)

Cette note est ambiguë car Sénèque dit dépenser non pas largement mais trop son temps. Il se qualifie en effet de « luxuriosus » (= excessif, immodéré).
D’ailleurs, s’il ne faisait que dépenser largement son temps, il n’ajouterait pas ensuite qu’il est en mesure de rendre compte de sa pauvreté (« causas paupertatis meae reddam »).
Mais que la dépense soit excessive n’implique pas pour autant que la responsabilité lui en revienne :

« Au reste, je me trouve dans le cas de la plupart des gens ruinés sans qu’il y ait de leur faute : tout le monde vous excuse, nul ne vous assiste ».

La pauvreté (paupertas) se radicalise en dénuement (inopia) et autrui en est clairement désigné comme le responsable. Le secours qui fait défaut est paradoxalement l’aide qu’il pourrait apporter en s’abstenant d’avoir recours au temps des autres.
Ce qui reste encore énigmatique ici, ce sont les raisons pour lesquelles Sénèque n’oppose finalement aucune résistance à l’emprise des autres sur son temps. Se discerne peut-être une tension entre deux usages du temps : l’un public et convenable selon les normes de la vie publique précisément, l’autre privé et à finalité éthique.