自2022年11月底發表以來，ChatGPT一鳴驚人的自然語言處理能力，讓許多同領域的研究團隊覺得他們手上正在進行的計畫「變得毫無意義或價值」，因而決定改變研發方向，甚至乾脆放棄。同時，在短短的三個月內，企圖建置於ChatGPT上的新產品與應用服務的想法和提案，更是如雨後春筍般遍地開花。ChatGPT所引出一片藍海的商業潛力及衍生產品的想像空間，讓業者普遍相信，此技術對未來20年世界IT產業的影響力足以媲美1990年代的網絡瀏覽器和2000年代的智慧手機。

ChatGPT最令人驚豔的功能是針對語意複雜的用戶提示（prompt），答出文法正確、語意切題、內容豐富詳細的回覆，且回覆的語法與風格可任由用戶指定。譬如說，用戶可輸入一個公司上年度的各個產品線銷售狀況、業務費用及整體財務盈虧表現，然後要求ChatGPT將這些資料整理成一篇新聞稿；如果有需要的話，甚至可以要求ChatGPT以同樣材料作成七言律詩一首。ChatGPT不僅能改寫輸入提示，也可藉由其內含的巨大知識庫及分析比較能力，進而對提示揭櫫的命題與主旨，作廣泛深入的闡述和發想。譬如說，用戶可以要求ChatGPT「比較羅大佑與伍佰的搖滾樂風」或「中美科技競爭的各項議題中較少被台灣媒體報導的面向」。

ChatGPT在上述應用情境的回應，一般而言，有模有樣中規中矩，雖然尚未達可圈可點的程度，但也具一定的水準。並且，只要用戶提示的語意越清楚、指定範圍越明確，ChatGPT的回應就越到位、具體、精準。所謂有史以來最強大的問答機器人，ChatGPT當之無愧。大致來說，ChatGPT現有的回應能力對許多低階日常應用已足足有餘，因此未來台灣社會將有大量文字應用服務奠基於類似ChatGPT的技術之上，殆無疑義。循此推之，ChatGPT不但會影響台灣產業的未來走向，也會在其未來社會文化的形塑，扮演一定的角色。

ChatGPT的技術基礎是大規模語言模型（Large Language Model，LLM），其設計原理是「文字接龍」：給定一個先行文字序列，預測下一個字的機率分佈。這種大規模語言模型的訓練語料來自在網路和實體世界可以收集得到的文件，包括網頁、書籍、刊物、非出版品、電郵、即時信息等。訓練時，針對每一篇文件，逐字從頭掃描到尾，當掃描至某一字時，將此字作為預測標的，而這個字以前的N個字當成先行文字序列，依此建立起多組<先行文字序列，預測標的>的訓練數據對，最後再以神經網路的架構建立起先行文字序列與預測標的間的數學關聯模型。以上語言模型訓練方式的最大優點是訓練數據不需人工標記。

建立了語言模型後，ChatGPT團隊首先利用人工製作的問題和答案，將此模型特化為能有效回答用戶問題的字詞預測引擎。接著，運用此引擎對每一個問題產出多個可能回答，並以人工方式對這些可能回答進行排序，然後再利用這些資料訓練出能對給定問題及其可能回答給予評分的評量模型；最後，ChatGPT藉助該評量模型在多個可能回答裡選出最佳回應。

雖然ChatGPT奠基於一個字一個字的文字接龍，然而它的回答品質卻是出奇地高，因為其產出的句子大多合乎文法、行文通順、含義切題、甚至時有（不見得正確的）新意。深入觀察，ChatGPT似乎已能從個別文章擷取其關鍵想法，比較多篇文章所提出想法的異同之處，甚至可針對以前文章未探索過但類似的情境合成出新想法。然而，這樣的表現是否意味著ChatGPT已具有感知能力，或者說對其訓練語料所描述的世界有深層的理解或感情呢？答案其實是否定的。

歸根究底，ChatGPT的底層語言模型只是試圖從大批文章捕捉其中字詞之間的共存關係，然後根據輸入提示，運用字詞間機率式關聯性，產生最有可能的文句輸出。這也是為甚麼ChatGPT產出的文句所陳述的事實可能含有錯誤甚至根本是編造的。譬如說，介紹李清照時，可能引用她《如夢令》的詞，但真正輸出的詞可能是別人的《如夢令》或是ChatGPT自己作的詞。儘管如此，光憑單純地萃取及運用字詞間共存關係就可讓ChatGPT擁有橫空出世的技術表現，再次證明了語言學的一句名言: 「一個字的定義取決於跟它一起出現的那些字」，誠哉斯言！

相比之下，人類則是將輸入文字轉化成抽象概念，將這些概念構建成階層式的知識表徵，再根據這種表徵和事實記憶內容進行多層次聯結與推理，最後將推理結果以文字形式輸出。也就是說，ChatGPT只著眼於特定字詞在特定語境的出現機率作機械性的計算，但對字詞或語境背後所代表的意義、價值與感情則既無著墨、也不關心。所以，ChatGPT在與用戶交談時絕不具有像人類的理解力、同理心與同情心。

ChatGPT的底層語言模型跟其訓練語料息息相關，此所以當「中國與台灣是甚麼關係？」這個問題以繁體字和簡體字輸入時，ChatGPT會輸出語意截然不同的回答。假如想運用ChatGPT產生台語八點檔電視劇的劇本，則其底層LLM必須接受台語對話語料的訓練，才有可能。同理，假如想運用ChatGPT分析台灣各級法院判決書以自動找出異常或不法判決，則其底層LLM也必須先接受法院判決書語料的訓練。以上用例說明，台灣有必要根據台灣地區的語言材料開發自己的LLM，以確保未來本地的AI文字加值應用服務所奠基的LLM乃充分在地化且隨時與時俱進。

※作者為清華大學合聘教授