Токены - это элементы, с которыми работает GPT. Один токен может содержать слово, часть слова или символы, если мы работаем с языком, который не использует латинские знаки. Благодаря токенам, модель GPT создает предложения, и так как мы знаем, сколько вычислительных мощностей нужно для генерации одного токена, мы ведем расчёт именно в этой единице.