在用户的浏览器中本地运行 AI

我们都知道人工智能有多么伟大,但是,仍然存在两个主要问题:数据隐私和成本

现在所有使用人工智能的应用程序都连接到云API。这些 API 记录提示和上下文,在某些情况下,它们使用这些数据来训练模型。这意味着您在其中包含的任何敏感数据都可能会暴露。

大多数 Web 应用程序使用以下模式集成 AI 功能:

在用户的浏览器中本地运行 AI

这里的问题是应用服务器需要将用户数据发送到AI API,这是第三方API,我们无法真正知道用户数据会发生什么。

但是,我们为什么不在用户设备而不是云端处理人工智能?我已经对其进行了几周的测试,取得了惊人的结果。我发现了 3 个主要优点:

用户数据绝不会发送给第三方。它始终保留在用户设备上。对于应用开发者来说是免费的,您不需要为用户推理付费,因为它直接发生在用户设备上。可扩展性是无限的,因为每个新用户都会带来自己的计算能力。

让我们快速看一下当我们将 AI 计算卸载给用户时,之前的架构如何变化:

在用户的浏览器中本地运行 AI

这是一个非常简单的概念。用户一如既往地使用我们的应用程序,但是当有一些任务需要执行人工智能计算时,我们不使用第三方API,而是将其发送给用户,用户的设备将以最安全的方式执行该计算,本地。

这不仅仅是一个梦想,它已经功能齐全了,我创建了一个名为Offload的平台,让每个人都可以轻松使用这个架构,只需更改几行代码。 SDK 将处理幕后的所有事务,从下载适合用户设备的模型,到帮助您在本地管理提示和评估提示响应,将评估结果发送回给您,而不会暴露用户数据。一切都通过单个函数调用透明地进行。

我正在寻找可能从中受益的网络开发人员,即使它只是为了业余爱好项目,所以,如果你喜欢这种方法ping我!我很乐意帮助您在应用程序中进行设置,您会发现在几分钟内迁移实际上非常简单。

将 Offload 集成到您的应用程序中

以上就是在用户的浏览器中本地运行 AI的详细内容,更多请关注【创想鸟】其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至253000106@qq.com举报,一经查实,本站将立刻删除。

发布者:PHP中文网,转转请注明出处:https://www.chuangxiangniao.com/p/2661941.html

(0)
上一篇 2025年3月7日 11:07:16
下一篇 2025年2月25日 12:34:42

AD推荐 黄金广告位招租... 更多推荐

相关推荐

发表回复

登录后才能评论