Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

指令token超过了限制的问题 #191

Open
noangel2014 opened this issue Jan 18, 2024 · 6 comments
Open

指令token超过了限制的问题 #191

noangel2014 opened this issue Jan 18, 2024 · 6 comments

Comments

@noangel2014
Copy link

Describe the bug
抱歉,指令token超过了限制,请尝试将其翻译为英文并保存,或者减少字数。

自定义摘要指令的时候,能不能不要限制这个。虽然这个限制有利于提醒用户不要输入过长提示词,但是现在语言模型支持上下文长度越来越长。限制这个已经没有什么意义了,大多数摘要插件都是不限制这个的。

希望可以考虑取消这个限制,谢谢

@givebest
Copy link
Collaborator

不限制的话,自定义prompt + 内容的总tokens可能就会超出导致出错。

可以告诉我们自定义prompt 占了多少tokens 吗?方便我们调整下prompt tokens 限制。

@noangel2014
Copy link
Author

谢谢回复。
我知道token过长会导致报错,可以警告一下。强制限制并不是很妥当。 据我观察,专业一点的提示词大多都超过1000token.
觉得如果过长token输入会导致错误的话,只要有效提醒就可以了。限制固定长度没什么意义,因为谁都不知道到底多长合适。人们只会有一个印象就是,这个插件不支持长的提示词。

@anuxs
Copy link

anuxs commented Mar 7, 2024

建议prompt tokens 限制做成用户自定义参数,反正超过了提示用户自己修改。

@joostshao
Copy link

一看到居然限制context的大小,没有自定义长度的设置,我就放弃了

@givebest
Copy link
Collaborator

一看到居然限制context的大小,没有自定义长度的设置,我就放弃了

下周新版支持自定义模型和上下文。

@ttyy33
Copy link

ttyy33 commented May 3, 2024

希望可以放开prompt token的限制,在使用gpt 4 用结构化promopt时候,造成了很大的影响。
另外 自定义摘要指令 下的 示例指令 也算token?如果算的话,希望用户也可以自定义修改

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
5 participants