Epictète a construit une opposition fameuse entre ce qui dépend de nous et ce qui n’en dépend pas.
Dépendent de nous : nos désirs et nos aversions, notre tendance à agir et notre refus d’agir, nos jugements.
Or, Sénèque écrit à Lucilius :

« Il n’y a que le temps qui soit nôtre » (trad. Noblot)

Une note de l’édition des Belles-Lettres (1945) pointe la difficulté :

« On peut trouver que Sénèque est ici infidèle à la doctrine stoïcienne, selon laquelle notre âme est le seul bien qui nous appartienne. Mais il entend, au fond, le temps consacré à l’amélioration de l’âme, celui qui, ainsi employé, constitue la vraie vie. » (p.4)

Ce qui est remarquable, c’est qu’après avoir qualifié le temps de nôtre, Sénèque lui attribue les propriétés des choses qui ne nous appartiennent pas : il est fugace, glissant (lubrica) et à la merci d’autrui (« ex qua expellit quicumque vult »). Ces trois adjectifs conviendraient pour caractériser un bien imaginaire comme la célébrité par exemple.
Ce qui est nôtre est donc moins le temps que la capacité de faire le meilleur usage possible de ce temps qui a finalement toutes les caractéristiques des faux biens dont détournent habituellement les philosophes.
Plus précisément il dépend de nous (et c’est ici la discipline du jugement qui est en jeu) de se représenter le temps comme « l’unique possession que nous ait départie la nature » - à ce propos, je relève que dans l’édition Veyne, la nature se voit ennoblie d’une majuscule que le texte original ne justifie pas -
Le temps a donc deux propriétés: il ne nous appartient pas, doublement, en tant que donné par la nature et nous échappant, mais il est partiellement maîtrisable. Le temps est le milieu où à la fois et paradoxalement, chacun fait fondamentalement l’expérience des limites de sa maîtrise et où chacun est aussi en mesure de développer cette même maîtrise.

Lucilius doit donc considérer le temps comme précieux et rare car c’est uniquement dans ce flux toujours passant qu’il pourra se constituer une identité fixe. Or, les autres prennent notre temps sans réaliser la dette qu’ils devraient avoir à notre égard puisqu’à la différence de toutes les autres choses qu’on peut leur donner ils ne pourront pas nous le rendre.
Il est étrange que Sénèque ne voie le temps consacré à autrui que comme perte pour soi-même (pourtant à écrire les lettres à Lucilius, ne se rend-il pas service aussi ?); de toute façon, même en admettant cela, il ne va pas de soi de considérer, comme il le fait, qu’on ne peut pas rendre à autrui le temps qu’il nous consacre et que la reconnaissance ne peut alors en aucune manière se manifester. On peut penser que si je consacre une heure aujourd’hui à autrui, il peut me la rendre en me consacrant lui aussi une heure demain. Certes ça ne sera pas la même heure mais le même usage d’une heure à des fins non égoïstes.

Résumons : donner de son temps ne revient pas nécessairement à le perdre et rendre à quelqu’un le temps qu’il nous a consacré n’est pas impossible.