Vicuna-13B AI 聊天机器人已作为开源聊天机器人推出，该聊天机器人使用微调 LLaMA 和从 ShareGPT 收集的用户共享对话进行训练。 该聊天机器人已经使用 GPT-4 作为基准进行了初步评估，表明与 OpenAI ChatGPT 和 Google Bard 等其他流行的聊天机器人相比，它的质量达到了 90%* 以上。 Vicuna-13B 在超过 90%* 的情况下也优于其他模型，例如 LLaMA 和 Stanford Alpaca。
尽管体积几乎是斯坦福羊驼的两倍，但 Vicuna-13B 的成本仅为 300 美元左右，是羊驼成本的一半。 这是因为训练 Vicuna 所用的 ShareGPT 数据可以公开访问，而斯坦福大学通过 OpenAI API 生成自己的数据。 因此，Vicuna 仅产生培训成本。 与斯坦福模型类似，Vicuna-13B 仅可用于非商业目的。
据 Vicuna 背后的团队称，在使用 ShareGPT 数据进行微调后，聊天机器人在基准问题测试中展示了比 Alpaca 结构更好、更详细的答案。 该团队表示，Vicuna-13B AI 聊天机器人的答案质量可与 ChatGPT 提供的答案相媲美。
GPT-4 可以比较各种聊天机器人的输出，但 Vicuna-13B AI 聊天机器人团队认为该方法“不科学”，需要进一步研究 – 图片：LmSys
为了进一步评估 Vicuna-13B AI 聊天机器人的性能，该团队正在使用 OpenAI 的最新模型 GPT-4。 GPT-4 使团队能够以详细的方式一致地对不同的聊天机器人进行排名和评分，从而对 Vicuna 的能力进行更全面的评估。
什么是 Vicuna-13B AI 聊天机器人？
Vicuna 是一个开源聊天机器人，它使用通过公共 API 从 ShareGPT.com 获得的大约 70,000 个用户共享对话进行了微调。 Vicuna-13B AI 聊天机器人基于 LLaMA，它经过微调以优化其性能。 为确保数据质量，研究团队将 HTML 格式转换回 markdown，并删除了不合适或低质量的样本。 此外，他们将冗长的对话分成更小的部分，以适应模型的最大上下文长度。
研究团队对斯坦福的羊驼训练配方进行了多项改进，以提高骆马的表现。 这些改进包括：
- 内存优化： 该团队将最大上下文长度从 Alpaca 的 512 扩展到 2048，这样可以更好地理解长对话。 但是，这导致 GPU 内存需求显着增加。 为了缓解这种情况，该团队使用梯度检查点和闪存注意力来管理内存压力。
- 多轮对话： 该团队调整了训练损失以考虑多轮对话，并仅根据聊天机器人的输出计算微调损失。
- 通过 Spot 实例降低成本： 使用 40 倍大的数据集和 4 倍的序列长度进行训练带来了相当大的成本挑战。 为了降低成本，该团队使用了 SkyPilot 托管点，它利用更便宜的点实例，具有自动恢复抢占和自动区域切换。
对 Vicuna 进行的各种优化使聊天机器人能够更好地理解和响应复杂的对话。 此外，成本降低策略使 Vicuna 成为构建聊天机器人系统的开发人员和研究人员更实惠的选择。
为了训练 Vicuna-13B AI 聊天机器人，研究团队从 ShareGPT.com 收集了大约 70,000 条对话，ShareGPT.com 是一个用户可以分享他们的 ChatGPT 对话的平台。 对 Alpaca 提供的训练脚本进行了修改，以更好地处理长序列和多轮对话。 该团队在八个 A100 GPU 上使用 PyTorch FSDP 仅用了一天时间就训练了 Vicuna。
演示实现采用了一个轻量级分布式服务系统，能够使用分布式工作者为多个模型提供服务。 该系统支持来自基于云和本地集群的灵活 GPU 工作插件。 为了降低服务成本，该团队在 SkyPilot 中使用了容错控制器和托管点功能，它利用了来自多个云的更便宜的点实例。
如何使用Vicuna-13B 人工智能聊天机器人？
您可以按照以下步骤试用 Vicuna-13B AI 聊天机器人：
- 去 lmsys.org
- 从下拉菜单中选择“vicuna-13b”
- 您会在下方看到一个框，上面写着“输入文本并按 ENTER”
- 问任何你想要的，然后点击上传。
就是这样！ 值得注意的是，当前版本的 Vicuna 是演示模型，与原始版本可能具有不同的功能。 因此，用户应记住，发布版本的性能和功能可能与演示模型不同。
尽管如此，该演示模型为 Vicuna-13B AI 聊天机器人的潜在功能提供了宝贵的见解，并作为开源工具可能性的一个有前途的例子。
Vicuna-13B 人工智能聊天机器人有多好？
该公司展示了羊驼和骆驼对其基准问题的回答。 在使用 70,000 个用户共享的 ChatGPT 对话对 Vicuna 进行微调后，发现 Vicuna 能够生成比 Alpaca 更详细、结构更好的答案。 Vicuna-13B AI 聊天机器人的答案质量可与 ChatGPT 提供的答案相媲美。
您可以在下面观察文档中共享的两个模型的示例提示和答案：
Vicuna-13B 人工智能聊天机器人： “阿罗哈，同路人！ 如果您正在寻找一个拥有丰富文化和壮丽景色的热带天堂，那么夏威夷就是您的不二之选。 我最近的阿罗哈州之行是一次难忘的冒险，充满了激动人心的文化体验和必看景点。
首先，我被夏威夷人民热情好客的精神所震撼。 从我到达的那一刻起，我就有了宾至如归的感觉，并受到当地人张开双臂的欢迎。 无论是酒店工作人员、我的导游，还是我在街上遇到的友好陌生人，我遇到的每个人都渴望分享他们对家乡的热爱。
我最难忘的文化体验之一是参加传统的夏威夷夏威夷宴会。 在这个节日活动中，我享受了一顿美味的当地美食盛宴，包括 poi、laulau 和 kalua pig，同时聆听草裙舞的催眠节拍。 舞者身着美丽的本土服装，通过动作讲述岛屿及其历史的故事。 这真是一个神奇的夜晚，让我与夏威夷的丰富遗产产生了联系。
另一个让我惊叹的必看景点是哈雷阿卡拉国家公园令人叹为观止的美景。 该公园拥有岛上最大的休眠火山，提供令人惊叹的日出或日落徒步旅行。 当太阳从地平线上升起时，我被这充满活力的色彩和鲜明的风景所震撼。 那是一次真正让我感到谦卑的经历，也是我永远不会忘记的经历。
当然，如果不在海滩度过一段时光，夏威夷之旅就不算完整。 威雷亚海滩 (Wailea Beach) 拥有清澈的海水、金色的沙滩和柔和的海浪，是放松身心和沐浴阳光的理想场所。 无论您是狂热的冲浪者、海滩流浪者，还是只想放松一下，夏威夷的海滩都一定会让您心动。
总之，夏威夷是一个真正的天堂，超出了我的所有期望。 从我走下飞机的那一刻起，我就沉浸在一种丰富、充满活力和充满活力的文化中。 夏威夷拥有众多必看景点和令人难忘的体验，是任何寻求一点冒险、文化和放松的旅行者的完美目的地。 Mahalo 阅读，我希望很快能在夏威夷见到你！”
如果您喜欢检查 AI 聊天机器人，请不要忘记查看我们的 ChatGPT 提示比较！
结论
Vicuna-13B AI 聊天机器人是一种非常有前途的开源工具，在生成结构良好且详细的响应方面表现出令人印象深刻的能力，在许多情况下优于某些现有模型。 随着针对不同聊天机器人训练多种语言模型，对话式 AI 的未来看起来越来越有趣。
聊天机器人在改善客户服务、提供个性化体验和促进各种任务方面的潜力是巨大的，而 Vicuna 证明了开源协作在推动聊天机器人技术边界方面的力量。 随着该领域研究的不断发展，我们可以期待看到聊天机器人的功能取得更令人振奋的进步。
Source: 什么是 Vicuna-13B AI 聊天机器人以及如何使用它？
