动手实验

由于笔者实用的 macOS 系统，因此采用 GGML 量化后的模型，官方开源出来的模型大都以 Python 为主，效率可想而知，因此笔者一般会采用社区内的其他实现，比较有名的项目有：

ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++([7])

ggerganov/whisper.cpp: Port of OpenAI's Whisper model in C/C++([8])

LLama

首先是编译，为了利用 Metal 的 GPU，可以用如下命令编译：

之后需要去 Llama-2-7B-Chat-GGML([9]) 中下载模型，3G 到 7G 不等，读者可以按需尝试即可。

得到输出

此外，llama.cpp 还提供了 WebUI 供用户使用，首先启动 server：

它默认监听 8080 端口，打开浏览器就可以对话了

Whisper

和 llama 类似，采用 make 命令编译，之后去 ggerganov/whisper.cpp([10]) 下载量化好的模型，然后转换音频即可，目前只接受 wav 格式，可以用 ffmpeg 转化

输出的 srt 文件如下所示：

一般来说，英文的音频 small 模型就有够了，但是如果是中文，最好用最大的模型。

免费的 LLM 产品

尽管 ChatGPT 是收费的，而且还不面向中国，但现在市面上有非常多的其他选择，比如 Google 的 Bard([11])，下图给出了一些常用服务， 读者都可以去体验试试：

单就写代码这个垂直领域来看，GitHub 的 Copilot([12]) 无疑是老大哥，但它并非免费，下面有几个替代品：

Tabnine([13]): AI assistant that speeds up delivery and keeps your code safe

• Codeium([14]): Free AI Code Completion & Chat

Amazon CodeWhisperer([15]): Build applications faster and more securely with your AI coding companion

SourceGraph Cody([16]): The AI that knows your entire codebase

Tabby([17]): Opensource, self-hosted AI coding assitant

fauxpilot/fauxpilot([18]): An open-source alternative to GitHub Copilot server