6月4日消息,Mozilla公司于近日发布博文,宣布了一项激动人心的计划:在即将推出的火狐Firefox 130浏览器中测试引入一项新功能,该功能将利用完全私有、本地运行的AI模型自动生成图片的Alt文本内容。
Alt 文本,也叫 Alt 标签或 Alt 属性,指的是附加在图像上用来描述图像所显示内容的文本。此文本嵌入在网站的代码中,通常可以通过将光标悬停在图像上查看。
Alt 文本的目的是传达图像的内容。网站上的图片都会附加 Alt 文本内容,例如下面这张图片的 Alt 文本内容就是“Firefox Nightly 测试本地生成 Alt 文本”。
不过网络上很多图片都不包含 Alt 文本内容,Web Almanac 在 2022 年的报告中指出,互联网上将近一半的图片缺少 Alt 文本。
Mozilla 公司正尝试使用基于 Transformer 的多个机器学习模型来描述图片,这些模型非常“小而优”,可以在资源有限的设备上运行。
这些模型虽然无法叫板 GPT-4 Turbo 或 LLaVA,不过其准确性足以在各种硬件设备上提供有价值的见解。