逾越GPT-4斯坦福团队手机可跑的大模型火了一夜下载量超2k

  近来，斯坦福大学研讨人员推出的 Octopus v2 火了，受到了开发者社区的极大重视，模型一夜下载量超 2k。

  20 亿参数的 Octopus v2 可以在智能手机、轿车、个人电脑等端侧运转，在准确性和推迟方面逾越了 GPT-4，并将上下文长度减少了 95%。此外，Octopus v2 比 Llama7B + RAG 计划快 36 倍。

  Octopus-V2-2B 是一个具有 20 亿参数的开源言语模型，专为 Android API 量身定制，旨在在 Android 设备上无缝运转，并将实用性扩展到从 Android 系统管理到多个设备的编列等各种应用程序。

  一般，检索增强生成 (RAG) 办法需求对潜在函数参数进行详细描述（有时需求多达数万个输入 token）。根据此，Octopus-V2-2B 在练习和推理阶段引入了共同的函数 token 战略，不只使其能到达与 GPT-4 适当的功能水平，并且还显着提高了推理速度，逾越了根据 RAG 的办法，这使得它对边际核算设备特别有利。

  Octopus-V2-2B 可以在各种杂乱场景中生成独自的、嵌套的和并行的函数调用。

  为了练习、验证和测验阶段选用高质量数据集，特别是完成高效练习，研讨团队用三个要害阶段创立数据集：

  该研讨选用 Google Gemma-2B 模型作为结构中的预练习模型，并选用两种不同的练习办法：完好模型练习和 LoRA 模型练习。

  在完好模型练习中，该研讨运用 AdamW 优化器，学习率设置为 5e-5，warm-up 的 step 数设置为 10，选用线性学习率调度器。