| 1 |
openai/gpt-3 |
GitHub |
OpenAI GPT-3 相關教學與範例程式碼（非完整模型）。 |
展示 GPT-3 API 使用方式、範例應用 |
| 2 |
huggingface/transformers |
GitHub |
Hugging Face 的核心庫，用於各種 NLP 模型（包含 GPT、BERT 等）。 |
提供多種預訓練模型、高層次 API，便於進行語言任務 |
| 3 |
EleutherAI/gpt-neox |
GitHub |
由 EleutherAI 所開發的 GPT-NeoX 大型語言模型。 |
自主可訓練的大型 Transformer 模型框架，可用於 ChatGPT 類任務 |
| 4 |
microsoft/DeepSpeed |
GitHub |
微軟開發的深度學習訓練優化庫，支援超大規模模型。 |
大規模訓練、分散式訓練框架，加速 GPT 類模型的訓練與推論 |
| 5 |
facebookresearch/fairseq |
GitHub |
Meta AI 的序列到序列學習框架，包含多種 SOTA 模型。 |
提供 NLP 模型訓練工具、支援 Transformer/Conformer 等 |
| 6 |
facebookresearch/ParlAI |
GitHub |
Meta AI 的對話式 AI 平台，整合多種模型與資料集。 |
對話系統開發平台，多模型測試與比較，支援多種聊天機器人建置 |
| 7 |
openai/tiktoken |
GitHub |
OpenAI 的字元編碼工具，用於 GPT 系列 Token 化。 |
提供 GPT 模型 Tokenizer，便於計算 Token 使用量 |
| 8 |
EleutherAI//gpt-neo |
GitHub |
開源 GPT-Neo 模型，與 GPT-3 相似但規模較小。 |
可自行微調或進一步訓練，打造對話式或文生成應用 |
| 9 |
huggingface/diffusers |
GitHub |
處理擴散模型（Diffusion Models）的工具庫。 |
雖以影像生成為主，但提供生成式模型思路，與文本生成工具結合可擴充應用 |
| 10 |
LAION-AI/Open-Assistant |
GitHub |
開源對話系統項目，旨在構建類 ChatGPT 的開放助理。 |
包含對話介面、模型訓練腳本，社群協力打造可自行訓練的 Assistant |
| 11 |
CarperAI/trlx |
GitHub |
使用強化學習 (RL) 微調語言模型的工具（RLHF 方向）。 |
透過人類回饋進行強化學習 (RLHF) 來改善 ChatGPT 類模型的對話品質 |
| 12 |
lucidrains/PaLM-rlhf-pytorch |
GitHub |
基於 PaLM 和 RLHF 的 PyTorch 實作。 |
提供類似 ChatGPT 之訓練思路（RLHF），可作為自建聊天模型參考 |
| 13 |
bigscience-workshop/petl |
GitHub |
BigScience 的 “Parameter-Efficient Fine-Tuning” 工具。 |
參考 LoRA、Prefix Tuning 等技巧，減少 ChatGPT 類模型微調成本 |
| 14 |
stanfordnlp/stanza |
GitHub |
斯坦福 NLP 團隊推出的 Python NLP 套件。 |
提供多種自然語言處理工具，可整合進對話式系統 |
| 15 |
bigscience/bigscience |
GitHub |
BigScience 社群相關專案總覽，包含許多大型模型與工具的連結。 |
參與多種開源大型語言模型研究，如 BLOOM，可用於 ChatGPT 類型任務 |
| 16 |
bigscience-training/scaling-laws |
GitHub |
BigScience 針對大模型擴充實驗的研究與程式碼。 |
了解大型語言模型的擴充特性與訓練方法，協助自研 ChatGPT 類專案 |
| 17 |
google-research/bert |
GitHub |
BERT 原始碼與模型，雖非 GPT 系列，但仍是 NLP 製作 chatbot 的基礎。 |
對話任務前置模型或微調基礎，透過類似思路改善對話理解能力 |
| 18 |
facebookresearch/llama |
（可能須注意授權與取得方式） |
LLaMA 大型語言模型，Meta 研究成果（部分程式碼可能不在官方 GitHub）。 |
對話與文本生成性能佳，可作為 ChatGPT 類專案研究基礎 |
| 19 |
openai/CLIP |
GitHub |
處理文字與影像匹配的模型，非純語言模型，但可拓展多模態聊天機器人。 |
多模態理解與訊息檢索，可融合到對話式系統中提供更多功能 |
| 20 |
NVIDIA/Megatron-LM |
GitHub |
NVIDIA 開發的大規模語言模型訓練工具。 |
分散式大規模訓練 GPT 類模型，加速對話模型的開發 |
| 21 |
OpenAssistant/oa-chat |
GitHub |
OpenAssistant 針對 Chat UI 的前端程式碼。 |
提供前端對話介面，結合後端大型語言模型打造完整 ChatGPT 類系統 |
| 22 |
allenai/allennlp |
GitHub |
AllenNLP：由 AI2 開發的 NLP 研究平台。 |
方便研究性實驗與自定義模型整合，可在上面實作 ChatGPT 類功能 |
| 23 |
microsoft/LoRA |
GitHub |
低秩適應 (Low-Rank Adaptation) 微調方法。 |
在不改變整個模型參數的前提下，微調大型模型，用於 ChatGPT 類精調 |
| 24 |
facebookresearch/metaseq |
GitHub |
Meta AI 的序列到序列框架，內含大型語言模型研究的程式與成果。 |
強化對話與翻譯等應用，支援自定義大型語言模型訓練 |
| 25 |
databricks/dolly |
GitHub |
Databricks 推出的 Dolly 對話模型與範例。 |
提供小型、可自行微調的對話模型，與 ChatGPT 類似的互動 |
| 26 |
google-research/t5x |
GitHub |
T5X 框架：針對 T5 與類似模型的擴充訓練工具。 |
大規模 T5 模型訓練，亦可發展對話式應用 |
| 27 |
lmsys/vicuna |
GitHub |
Vicuna：在 LLaMA 基礎上進行微調的對話模型，性能接近 ChatGPT。 |
提供對話範例、微調程式碼與介面，能作為學習 ChatGPT 方案的範本 |
| 28 |
salesforce/CodeT5 |
GitHub |
針對程式碼生成與理解的 Transformer 模型。 |
可在對話中提供程式碼建議或解答，擴充類 ChatGPT 的功能 |
| 29 |
NVIDIA/NeMo |
GitHub |
NVIDIA 的對話式 AI 與語音工具套件。 |
整合 ASR/TTS/NLP，可打造多模態聊天機器人 |
| 30 |
fastchat-team/fastchat |
GitHub |
多種可微調的大型語言模型對話框架，包含接口與後端。 |
對話式 UI、支援模型整合，提供類似 ChatGPT 的簡易部署方案 |