祖克柏(上)與台灣工程師陳鵬仁(下)展示台、英語AI翻譯。(取自祖克伯臉書)
臉書(Facebook)改名Meta、聚焦「元宇宙」之後,積極朝虛擬世界願景邁進,除了可用虛擬分身徜徉虛擬世界,執行長祖克柏(Mark Zuckerberg)也發下豪語,宣布公司將致力開發人工智慧(AI)語言翻譯機,用於元宇宙的虛擬空間內。現在Meta如他所言,向世界介紹第一款為福建話(台語)打造的AI語音翻譯系統,這是Meta AI 通用語音翻譯工具(UST)的第一步。
根據Meta在19日發布的新聞稿,負責開發台英對譯系統的工程師陳鵬仁來自台灣,深知語言障礙會深深影響人們的溝通能力,因為他的父親來自南台灣,平常習慣講台語,有時覺得很難用國語(普通話)與人進行複雜對話。
陳鵬仁說:「我一直希望父親能用閩南語和大家交流,因為這是他最能自在運用的語言。他完全聽得懂國語,但要講比較複雜的話題時,用國語講會慢很多。」
陳鵬仁不只是想而已,還把想法付諸行動,領導開發了這個系統。
這是個艱鉅的任務,因為電腦翻譯雖非新鮮事,但主要用於可書寫的語言。AI 語言翻譯系統通常會以大量文本進行訓練,但現存七千多種語言超過四成主要用於口說,缺乏正式或廣為人知的書寫系統,閩南語即為其一。此外,相較西班牙語或英語等其他語言,閩南語可用的配對語音數據不多,要開發閩南語AI翻譯並非易事。
為解決這些問題,Meta研究人員使用類似閩南語的普通話文本,並與講閩南語的人密切合作,確保翻譯正確無誤。Meta研究人員皮諾(Juan Pino)解釋說:「我們的團隊先將英文或閩南語翻譯成中文文字,接著再翻譯成閩南語或英文,之後把配對的語句加入訓練AI的模型數據中。」
Meta對媒體發布的影片展示了系統成果。影片中,陳鵬仁先以閩南語說:「嗨,馬克(祖克柏的名字),你甘知影咱A團隊打造第一個支持口語語言的翻譯系統?」系統隨即辨識、翻譯成英語:Hi, Mark. Do you know that our team created the first translation system to support a spoken language?
祖克柏知道他在說什麼之後,以英文回答,系統再把祖克柏說的英文翻成閩南語。
UST目標針對所有語言提供即時語音翻譯,包括只有口說沒有書寫文字的語言。研究人員將免費公開模型、代碼和基準數據,好讓其他人能在他們的工作基礎上繼續構建。雖然模型仍在建構當中,目前僅能一次翻譯一個完整的句子,但已是朝未來同步翻譯許多語言邁出一大步。
We’re developing AI for real-time speech translation to break down language barriers in the physical world and in the metaverse.https://t.co/PC0BzLCHAr pic.twitter.com/wW8NlyndmM
— Meta Newsroom (@MetaNewsroom) October 19, 2022