努力赚钱
将来的你一定会感谢现在努力的自己!

扩展LLMs的上下文窗口

Spacemesh-浏览器

扩展LLMs的上下文窗口

本文介绍了一种称为位置插值(PI)的方法,可以将基于RoPE的预训练LLM的上下文窗口大小扩展到32768个位置,并在各种任务上展示了强大的实证结果。该方法通过线性缩小输入位置索引来实现扩展,同时保持了模型在原始上下文窗口内的质量。通过位置插值扩展的模型保留了原始架构,并可以重复使用大部分预先存在的优化和基础设施。

6fbe771f90b542d6b6d42788b911eeee_2076989541495611392
赞(0) 打赏
未经允许不得转载:我爱收益 » 扩展LLMs的上下文窗口

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏