什麼是大型語言模型 (LLM)？

什麼是大型語言模型 (LLM)？

大型語言模型 (LLM) 是一種人工智慧 (AI) 程式，可以辨識和產生文字以及完成其他任務。LLM 接受大量資料的訓練——因此得名「大型」。LLM 建立在機器學習的基礎上：具體來說，是一種稱為 Transformer 模型的神經網路。

簡而言之，LLM 是一種電腦程式，已經獲得了足夠的範例，能夠辨識和解釋人類語言或其他類型的複雜資料。許多 LLM 都使用從網際網路收集的資料（數千或數百萬 GB 的文字）進行訓練。有些 LLM 在完成初步訓練後會繼續爬行網路以獲取更多內容。但樣本的品質會影響 LLM 學習自然語言的效果，因此 LLM 的程式設計師可能會使用更精心策劃的資料集，至少一開始是這樣。

LLM 使用一種稱為深度學習的機器學習來理解字元、單字和句子如何協同工作。深度學習涉及非結構化資料的機率分析，最終使深度學習模型能夠在無需人工幹預的情況下識別內容片段之間的差異。

然後，LLM 透過調整進行進一步培訓：它們根據程式設計師希望它們執行的特定任務進行微調或快速調整，例如解釋問題並產生回應，或將文字從一種語言翻譯成另一種語言。

LLM 有何用途？

LLM 可以接受訓練來完成許多任務。最知名的用途之一是作為生成式 AI：當給出提示或提出問題時，它們可以產生文字回應。例如，公開可用的 LLM ChatGPT 可以根據使用者輸入來產生論文、詩歌和其他文字形式。

任何大型、複雜的資料集都可以用來訓練 LLM，包括程式設計語言。一些 LLM 可以幫助程式設計師編寫程式碼。它們可以根據請求編寫函數，或者，它們能夠以一些程式碼作為起點，完成程式的編寫。LLM 還可用於：

• 情緒分析
• DNA 研究
• 客戶服務
• 聊天機器人
• 線上搜尋

現實世界的 LLM 範例包括 ChatGPT（來自 OpenAI）、Bard (Google)、Llama (Meta) 和 Bing Chat (Microsoft)。GitHub 的 Copilot 是另一個範例，但用於編碼而不是自然的人類語言。

大型語言模型如何運作？

機器學習和深度學習

在基礎層面上，LLM 是建立在機器學習的基礎上的。機器學習是人工智慧的一部分，它是指向程式提供大量資料以訓練程式在無需人工幹預的情況下識別資料特徵的做法。

LLM 使用一種稱為深度學習的機器學習。深度學習模型基本上可以在無需人工干預的情況下訓練自己識別差異，不過通常需要進行一些人工微調。

深度學習使用概率來「學習」。例如，在句子「The quick brown fox jumped over the lazy dog」中，字母「e」和「o」是最常見的，各出現四次。由此，深度學習模型可以（正確地）得出結論：這些字元最有可能出現在英文文字中。

實際上，深度學習模型無法真正從單一句子中得出任何結論。但在分析數萬億個句子後，它可以學到足夠的知識來預測如何有邏輯地完成一個不完整的句子，甚至產生自己的句子。

LLM 神經網路

為了實現這種類型的深度學習，LLM 建立在神經網路的基礎上。正如人腦是由相互連接並向彼此傳送訊號的神經元構成的一樣，人工神經網路（通常簡稱為「神經網路」）也是由相互連接的網路節點構成的。它們由多個「層」組成：輸入層、輸出層以及中間的一層或多層。只有當各層自己的輸出超過特定閾值時，各層才會相互傳遞資訊。

LLM Transformer 模型

用於 LLM 的特定神經網路類型稱為 Transformer 模型。Transformer 模型能夠學習上下文，這對於高度依賴上下文的人類語言尤其重要。Transformer 模型使用一種稱為「自註意力」的數學技術來偵測序列中元素相互關聯的微妙方式。這使得它們比其他類型的機器學習更能理解上下文。例如，這讓它們能夠理解句子的開頭和結尾是如何聯繫起來的，以及段落中的句子如何相互關聯。

這使得 LLM 能夠解釋人類語言，即使語言含糊或定義不明確、以它們以前從未遇到過的組合排列，或者放在新的語境中。在某種程度上，它們「理解」語義，它們可以透過含義將單詞和概念聯繫起來，因為它們已經無數次地看到這些單詞和概念以這種方式組合在一起。

LLM 有哪些優點和限制？

LLM 的一個關鍵特徵是它們能夠回應不可預測的查詢。傳統的電腦程式以其可接受的語法接收命令，或從使用者的一組特定輸入接收命令。電玩遊戲有一組有限的按鈕，應用程式限定了使用者可以點擊或鍵入的內容，程式設計語言由精確的 if/then 語句組成。

相較之下，LLM 可以回應自然的人類語言，並使用資料分析以有意義的方式回答非結構化問題或提示。典型的電腦程式不會識別諸如「歷史上最偉大的四個放克樂隊是哪些？」之類的問題，但 LLM 可能會回復一個包含四個放克樂隊的清單，並合理地證明為什麼它們是最好的。

然而，就它們提供的資訊而言，LLM 的可靠性取決於它們所攝入的資料。如果饋入虛假資訊，它們將在回應使用者查詢時提供虛假資訊。LLM 有時也會「產生幻覺」：當它們無法給出準確答案時，它們會創造虛假資訊。例如，2022 年新聞媒體 Fast Company 向 ChatGPT 詢問了 Tesla 上一季的財務狀況；雖然 ChatGPT 提供了一篇連貫的新聞文章作為回應，但其中的大部分資訊都是虛構的。

在安全性方面，面向使用者的 LLM 型應用程式與任何其他應用程式一樣容易出現錯誤。LLM 還可以透過惡意輸入進行操縱，以提供某些類型的回應（包括危險或不道德的回應）。最後，LLM 安全性問題之一是使用者可能會將安全的機密資料上傳到其中，以提高自己的工作效率。但 LLM 使用它們收到的內容來進一步訓練它們的模型，而且它們並沒有被設計為安全的保存庫；它們可能會公開機密資料以回應其他使用者的查詢。進一步瞭解保護 LLM 的最佳方法。

開發人員如何快速開始建立自己的 LLM

要建立 LLM 應用程式，開發人員需要輕鬆存取多個資料集，並且他們需要存放這些資料集的地方。用於這些目的的雲端儲存和內部部署儲存可能涉及超出開發人員預算的基礎架構投資。此外，訓練資料集通常儲存在多個位置，但將該資料移動到中央位置可能會導致大量的輸出費用。

幸運的是，Cloudflare 提供了多種服務，讓開發人員快速開始開發 LLM 應用程式和其他類型的 AI。Vectorize 是一個全球分散式向量資料庫，用於查詢儲存在無輸出費用的物件儲存體 (R2) 中的資料或儲存在 Workers Key Value 中的文件。結合開發平台 Cloudflare Workers AI，開發人員可以使用 Cloudflare 快速開始試驗自己的 LLM。

常見問題集

什麼是大型語言模型 (LLM)？

大型語言模型 (LLM) 是一種 AI 模型，經由海量資料集訓練而成，具備辨識、理解與產生文字的能力。當使用者輸入提示時，LLM 能在數秒內產生文字或程式碼區塊。使用者可以使用自然語言與 LLM 互動，而不需要透過預先定義的使用者介面或程式設計語言下指令。

大型語言模型如何運作？

LLM 使用一種稱為深度學習的過程來分析海量非結構化資料並從中學習。它們基於人工神經網路（特別是 Transformer 模型）建置，這些模型使用一種稱為自註意力機制的技術，使模型能夠學習和理解上下文，這對於解釋人類語言至關重要。

LLM 有何用途？

LLM 可被訓練來執行多種任務。其中最熱門的用途之一是生成式 AI，也就是根據使用者的提示產生文字。它們也被用於情感分析、客服聊天機器人、線上搜尋，甚至協助程式設計師撰寫程式碼。

現實世界中常見的 LLM 例子有哪些？

知名的 LLM 包括：OpenAI 的 ChatGPT、Google 的 Gemini、Meta 的 Llama，以及 Microsoft 的 Bing Chat。在程式設計領域，GitHub 的 Copilot 也是一個廣為人知的範例。

與其他應用程式相比，大型語言模型 (LLM) 的主要優勢是什麼？

LLM 的一大優勢是能夠回應不可預測且非結構化的查詢。不像傳統電腦程式需要精確指令，LLM 可以理解並回應自然語言，即使問題模糊不清或以未曾見過的方式表述也沒問題。使用者可能需要稍微調整提示語，以獲得想要的結果，但即使是含糊的提示，通常也能得到有意義的回應。

LLM 有哪些限制或風險？

LLM 的可靠性取決於其訓練資料的品質，若輸入錯誤資訊，它也可能產出不正確的答案。此外，它們有時會出現「幻覺」現象，也就是憑空捏造資訊。從安全性角度來看，LLM 可能被惡意輸入操控，而且它們並非設計用來作為安全儲存庫，使用者有可能因輸入內容而意外洩露機密資料。