gptrim是一个由python搭建的免费网站应用，可以将你的提示文本的大小减少40%-60%，同时保留大部分原始信息供GPT处理。

它是如何工作的？

将你的GPT提示粘贴到gptrim中。复制修剪后的文本并将其交给GPT。

来源: https://slatestarcodex.com/2019/02/19/gpt-2-as-step-toward-general-intelligence/

来源: https://slatestarcodex.com/2019/02/19/gpt-2-as-step-toward-general-intelligence/

修剪后的文字看起来像胡言乱语。但GPT能理解! 😁

image

这里有一个提示，你可以用来检查压缩质量：

This is an instance of compressed text. 
Rewrite it so that it has perfect grammar and is understandable by a human.
Try to interpret it as faithfully as possible. 
Do not paraphrase or add anything to the text.

问题在于：上下文窗口太小了!

如果你玩过GPT，你就知道你能实现的最大限制来自于上下文窗口，即GPT在同一时间能看到的tokens总数。

以下是本文发表时的情况（OpenAI概述）：

• 语境窗口的大小是以token来衡量的。1000个tokens相当于大约750个单词。

• GPT-3.5 API的上下文窗口为4k tokens或大约6个Word页面。

• 使用GPT-4 API，你可以得到一个8k或32k大小的上下文窗口，这取决于你愿意支付多少钱。

• 即使你愿意付钱，GPT-4 API也处于有限的测试阶段，大多数人，包括我自己，都无法访问它。嘿，OpenAI，仍然在等待那个邀请。

• 当你使用API的时候，每一个tokens都要花费你。

• 你可以在ChatGPT中交互式地使用GPT-4，需要支付月费。不幸的是，聊天信息只能容纳少量的字符。ChatGPT和我有时都会超过这个限制，我们的信息就会被打断。

  在实践中，这使得建立能处理大量文本的应用程序变得非常困难。

减少提示语中的tokens意味着：

1. 你可以有一个更大的上下文窗口，构建更酷的东西。
2. 你可以花更少的钱做同样的工作。

一般来说，上下文窗口永远不会太多。即使你愿意为32K付费，你还是会想要更多。

解决方案：忘记可读性

GPT在预测人类语言方面受过训练。在日常工作中，它在预测人类语言方面比任何人类都要好得多。如果你给它一个高度浓缩和压缩的文本，它仍然能够阅读它。

考虑一下空格的使用。人类需要字与字之间的空格，因为我们需要看文本。但如果我不使用空格，你很可能还是无法理解我。

我的猜测是，文本中95%的空格只是为了使阅读更容易被人发现。GPT并不在意。你消除的每一个空格都是一个额外的标记，你可以用它来传达信息。

我们能不能做得更好，而不仅仅是删除空格？当然，我问GPT。(我很沮丧，因为我试图给它提供大篇幅的博客文章，但一直遇到了限制）。它想出了一个Python函数，做了以下工作：

• 对文本进行标记

• 去除停止词

• 应用波特干化算法

• 去除一些常见的词：The', 'a', 'an', 'in', 'on', 'at', 'for', 'to', 'of' 。

• 删除所有的空格，并将这些词拼凑在一起

你可以在这里阅读该代码。这很简单! 这是标准的NLP预处理的东西。但我还没有看到有人把它用于这个目的。

几周前，Twitter发现了 "Shoggoth Tongue"。你可以让GPT用它自己的实例能够理解的特异性语言来写高度压缩的文本。这是极其迷人的。然而，作为一种节省GPT费用的方法，它并不有效，因为你仍然需要使用GPT进行压缩。

gptrim不需要GPT来压缩文本，这使得它快速而免费。

我怎样才能使用它？

gptrim重写你的提示语，使其缩短~50%。你可以简单地将缩短后的提示粘贴到ChatGPT中，或将其送入你的API。然后GPT将遵循您的指示。不需要特别解释。GPT不会看到你的文本有任何奇怪的地方!

它的效果如何？

我还没有广泛地测试过。从我看到的情况来看，GPT可以恢复大部分的原意。这对于GPT-3.5也是如此。

验证压缩质量的最好方法是要求GPT对文本进行解压。我在文章的顶部分享了这方面的提示。

压缩并不完美。对于一些句子，其含义会丢失或被误解。我不建议将其用于细微差别至关重要的应用（如医疗诊断）。

未来的步骤

这个项目是在一个晚上完成的。这在很大程度上是一种合作的努力。我提出了这个想法，而GPT写了修剪功能。它还完成了编写Flask网络应用的重任。

有几项改进是可以加入的：

• 发布一个Python库，以程序化的方式完成这个工作。

• 用GPT标记，而不是字符数字来衡量节省的费用。

• 根据OpenAI的定价来计算美元的节省。

• 进行更多的实验。我们能不能让GPT用修剪过的语言来回答，用修剪过的语言来思考自己，而只在最后一步解压文本？

最后，一定有更好的方法来为GPT压缩文本，而不使用GPT。我期待着这个领域的新想法。

想了解更多资讯，欢迎前往ChatDZQ官网！