Hugging Face 是一个开源模型社区和公司,具有以下特点和功能:
- 提供了大量预训练模型、数据集和应用程序,截至 2024 年 6 月,已融资 6 次,估值 45 亿美元。
- 官网为:https://huggingface.co/ 。
- 拥有超 100,000 个预训练模型,10,000 个数据集,是机器学习界的 github。
- 提供了 Transformers 库,包含大量预训练模型和工具,可用于执行各种 NLP 任务。
- 构建了完整开源产品矩阵,涵盖自然语言处理库、模型库、数据集等。
- 建立了 AI 开发生态,包括开发者社区、模型库、数据集等,方便开发者交流和合作。
- 提供围绕 NLP、vision 等方向的 AI 解决方案服务以获取费用。
- 提供的预训练模型包括自然语言处理、计算机视觉、语音识别等领域的模型,例如 meta-1lama/Llama-2-70b 用于文本生成,stabilityai/stable-diffusion-x1-base 用于图像生成等。
- 提供了 Spaces 应用程序,主要用于 Demo,可把 AI 应用部署到 Hugging Face,运行时使用其资源,少量使用免费,大量使用时付费。
- 有排行榜,如 Embedding 排行榜等。
- 支持用自己的数据训练模型,也可将应用部署在如亚马逊等云服务之上。
- 其盈利业务主要包括付费制会员、数据托管和 AI 解决方案服务等。
- 提供多种工具和库,如 Diffusers 用于图像和音频生成,Hub Python Library 用于管理 Python 运行时的存储库,Transformers.js 用于在浏览器中直接运行 Transformers 等。
- 有活跃的社区和用户群体,超过 50,000 个组织在使用。
- 提供了多种服务和解决方案,如计算服务(Compute)、企业解决方案(Enterprise)等。计算服务可部署在优化的推理端点或在 Spaces 应用程序中使用 GPU;企业解决方案提供企业级安全、访问控制和专门支持。
- 支持多种模型和任务,如文本生成、问答、图像分类、图像到文本、文本到视频等。
- 2024 年 5 月 31 日曾报告安全漏洞事件,其 Spaces 平台遭未经授权访问,或致部分用户密钥泄露,已采取相关安全措施。
- 一些知名模型如 tele-flm-1t、tele-flm-52b、bge 系列、emu3、bunny-3b/4b/8b 等。例如 tele-flm-52b 在基础模型的英文能力上接近 llama3-70b,中文能力为开源最强;emu3 是原生多模态世界模型,具备生成高质量图片和视频、续写视频、理解物理世界等多模态能力。
- 2024 年 1 月 26 日,上海人工智能实验室开源发布的科学大模型 “浦科化学” chemllm 也在该平台提供免费商用。
在国内使用时可能会遇到一些问题,如连不通、速度慢等。但可以通过一些方法解决,例如使用国内镜像站 hf-mirror.com,或使用加速工具(如 Watt Toolkit 可加速大部分页面,但无法登录)。登录及获取 Token(下载模型使用)可能需要 “魔法” 网络环境,Token 只需配置一次,存储在 “~/.cache/huggingface/token”,除非失效否则无需再次登录。
下载模型的方式有多种,例如使用 huggingface-cli 或通过 python 代码。下载时可指定镜像地址、本地目录等参数。
如果想在服务器使用 transformers 加载模型且无法访问网络,可先在本地(能访问网络)下载模型再上传到服务器。
Hugging Face 旨在让每个人都能使用最先进的 AI 技术,推动 AI 的发展和应用。它的成功一方面让入门者能快速使用科研大牛训练出的模型,另一方面其开放的文化和态度吸引人,很多业界大牛也在使用和提交新模型。
具体功能和操作细节可参考相关文档和资料,例如如何安装依赖、注册 / 登录、下载模型、使用模型等,不同的模型和任务可能有各自的具体要求和示例代码。