Mu 小语言模型使 AI 代理能够对数百个系统设置执行操作。它现在为一些 Windows 预览体验成员提供预览版。点击输入图片描述（最多30字）Mu 进行实时问答的屏幕截图。图片：Windows YouTube 频道微软用于设备端处理的最新小语言模型MU有一个特定的用例：Windows 11 设置应用程序。 6 月 23 日，Microsoft 推出了 Mu，这是一种紧凑的语言模型，旨在直接在 Windows 设备上运行。Mu 专为增强新的设置代理而构建，已在 Copilot+ PC 的预览版中提供，并且是免费提供的。Mu 是 Settings （设置） 菜单中 AI 代理背后的技术，允许用户提出自然语言问题。获得许可后，代理可以自行采取行动来解决用户提出的问题。因此，它需要能够解释和操作数百个系统设置。Mu 现在为一些 Windows 预览体验成员提供预览版。Mu 如何将处理能力打包到相对紧凑的硬件上Mu 是由 Microsoft 研究团队开发的 3.3 亿参数模型。与基于云的大型语言模型不同，Mu 完全使用神经处理单元 （NPU） 在设备上运行。这使它能够直接响应自然语言命令，例如“打开暗模式”或“调整亮度”，而无需依赖云服务或互联网连接。目的是在 Windows 11 中启用隐私优先、低延迟的 AI 功能，从“设置”应用程序开始。在 6 月 23 日的新闻稿中，微软透露了“设置”中 AI 代理背后的设备上小语言模型的工作原理。Mu 首先在 Azure 机器学习上的 NVIDIA A100 GPU 上进行训练。训练后，Mu 在 PC 的神经处理单元（NPU）上运行，以每秒100多个令牌的速度响应。Mu建立在微软从Phi Silica 学到的在设备上运行小型语言模型的基础上，Phi Silica是2024 年为Snapdragon X 系列笔记本电脑上的 Windows 11 Copilot+ PC 构建的模型。据微软称，选择编码器-解码器语言模型而不是仅解码器架构也可以提高效率。“通过将输入令牌与输出令牌分开，Mu 的一次性编码大大减少了计算和内存开销。”微软副总裁兼 Windows 应用科学杰出工程师 Vivek Pradeep 在博客文章中写道。“在实践中，这意味着在专用硬件上具有更低的延迟和更高的吞吐量。”微软表示，编码器-解码器语言模型比仅解码器模型更高效。Mu 使用编码器-解码器 transformer 架构构建，与传统的纯解码器模型相比，该架构可以更高效地处理输入。据称，Mu 提供了：·Qualcomm NPU 上的首令牌延迟缩短 47%·与仅使用标准解码器设置相比，解码速度提高了 5倍·推理速度超过每秒 100 个令牌，在 Surface Laptop 7 等设备上达到 200 个令牌/秒以上响应时间低于 500 毫秒为了进一步优化 Windows 设备的 Mu，Microsoft 集成了以下功能：·共享输入/输出嵌入层·旋转嵌入和分组查询注意力·双层规范·8 位或 16 位量化，处理速度更快·针对 Intel、AMD 和 Qualcomm NPU 的硬件特定调整这些改进使 Mu 即使在资源受限的硬件上也能高效运行。Mu 针对 Copilot+ PC 上的 NPU 进行了优化在使用 NPU 的过程中，微软的开发人员学会了如何塑造 Mu 的设计以适应处理器。这包括确保模型架构和参数形状与硬件的并行度和内存限制保持一致，优化编码器和解码器之间的参数分布，以及以其他方式提高效率。通过使用相同的权重集来表示输入令牌和生成输出 logits，从而减少了参数数量，这是确保在内存受限的 NPU 上快速执行的关键因素。如果用户提出的问题提示 NPU 上不支持或效率低下的任何作，Mu 将避免这些作。此外，对变压器架构和模型量化技术的更改提高了NPU的电源效率。“设置”中的 AI 代理在 Windows 11 Insider Preview 版本中可用，可供 Windows 预览体验成员在开发人员频道中访问。目前只有搭载 Snapdragon 的 Copilot+ PC 可以使用它，尽管 微软表示基于 AMD 和 Intel 的 PC 将在未指定日期获得访问权限。 Mu 小语言模型使 AI 代理能够对数百个系统设置执行操作。它现在为一些 Windows 预览体验成员提供预览版。
Mu 进行实时问答的屏幕截图。图片：Windows YouTube 频道 微软用于设备端处理的最新小语言模型MU有一个特定的用例：Windows 11 设置应用程序。 6 月 23 日，Microsoft 推出了 Mu，这是一种紧凑的语言模型，旨在直接在 Windows 设备上运行。Mu 专为增强新的设置代理而构建，已在 Copilot+ PC 的预览版中提供，并且是免费提供的。 Mu 是 Settings （设置） 菜单中 AI 代理背后的技术，允许用户提出自然语言问题。获得许可后，代理可以自行采取行动来解决用户提出的问题。因此，它需要能够解释和操作数百个系统设置。 Mu 现在为一些 Windows 预览体验成员提供预览版。 Mu 如何将处理能力打包到相对紧凑的硬件上 Mu 是由 Microsoft 研究团队开发的 3.3 亿参数模型。与基于云的大型语言模型不同，Mu 完全使用神经处理单元 （NPU） 在设备上运行。这使它能够直接响应自然语言命令，例如“打开暗模式”或“调整亮度”，而无需依赖云服务或互联网连接。 目的是在 Windows 11 中启用隐私优先、低延迟的 AI 功能，从“设置”应用程序开始。 在 6 月 23 日的新闻稿中，微软透露了“设置”中 AI 代理背后的设备上小语言模型的工作原理。Mu 首先在 Azure 机器学习上的 NVIDIA A100 GPU 上进行训练。训练后，Mu 在 PC 的神经处理单元（NPU）上运行，以每秒100多个令牌的速度响应。 Mu建立在微软从Phi Silica 学到的在设备上运行小型语言模型的基础上，Phi Silica是2024 年为Snapdragon X 系列笔记本电脑上的 Windows 11 Copilot+ PC 构建的模型。 据微软称，选择编码器-解码器语言模型而不是仅解码器架构也可以提高效率。 “通过将输入令牌与输出令牌分开，Mu 的一次性编码大大减少了计算和内存开销。”微软副总裁兼 Windows 应用科学杰出工程师 Vivek Pradeep 在博客文章中写道。“在实践中，这意味着在专用硬件上具有更低的延迟和更高的吞吐量。” 微软表示，编码器-解码器语言模型比仅解码器模型更高效。 Mu 使用编码器-解码器 transformer 架构构建，与传统的纯解码器模型相比，该架构可以更高效地处理输入。据称，Mu 提供了： ·Qualcomm NPU 上的首令牌延迟缩短 47% ·与仅使用标准解码器设置相比，解码速度提高了 5倍 ·推理速度超过每秒 100 个令牌，在 Surface Laptop 7 等设备上达到 200 个令牌/秒以上 响应时间低于 500 毫秒 为了进一步优化 Windows 设备的 Mu，Microsoft 集成了以下功能： ·共享输入/输出嵌入层 ·旋转嵌入和分组查询注意力 ·双层规范 ·8 位或 16 位量化，处理速度更快 ·针对 Intel、AMD 和 Qualcomm NPU 的硬件特定调整 这些改进使 Mu 即使在资源受限的硬件上也能高效运行。 Mu 针对 Copilot+ PC 上的 NPU 进行了优化 在使用 NPU 的过程中，微软的开发人员学会了如何塑造 Mu 的设计以适应处理器。这包括确保模型架构和参数形状与硬件的并行度和内存限制保持一致，优化编码器和解码器之间的参数分布，以及以其他方式提高效率。 通过使用相同的权重集来表示输入令牌和生成输出 logits，从而减少了参数数量，这是确保在内存受限的 NPU 上快速执行的关键因素。 如果用户提出的问题提示 NPU 上不支持或效率低下的任何作，Mu 将避免这些作。 此外，对变压器架构和模型量化技术的更改提高了NPU的电源效率。 “设置”中的 AI 代理在 Windows 11 Insider Preview 版本中可用，可供 Windows 预览体验成员在开发人员频道中访问。目前只有搭载 Snapdragon 的 Copilot+ PC 可以使用它，尽管 微软表示基于 AMD 和 Intel 的 PC 将在未指定日期获得访问权限。 声明：个人原创，仅供参考 |
