AI領先者的決斷

「要訓練出媲美ChatGPT的對話水準，就算玉山投入所有算力，也要一到兩年才能訓練出LLM模型。」玉山金控科技長張智星指出，去年3月初，ChatGPT API一發布，玉山AI團隊就馬上開始評估，決定先用KYC調查中負面新聞查詢的重點整理和摘要來測試，發現效果不錯，也替作業人員省下不少時間。但問題來了，當時若不是採用雲端企業級的ChatGPT服務，就得自行訓練LLM模型。要不要自己訓練LLM？成了關鍵的抉擇。

因為算力不夠，玉山要自行訓練LLM模型得花上2年，但是可以擁有最大的自主權，若是採用業者的LLM服務，雖然可以快速上手，但得考慮綁定風險，還有金融業諸多嚴格的法遵和資安規範。

玉山早在2021年訂定了三年AI願景，以NLP技術作為全集團AI發展的核心，圍繞Chatbot發展相關應用，除了要全面使用Chatbot，抓住顧客意圖，還要大量分析語音客服，發展數位導流，更想要打造出可以24小時運作的全智能語音Chatbot。他們也訓練出了自己的NLP模型，用於大量客服通話內容、分析顧客問題。

如今ChatGPT隔空出世，為了運用更先進的LLM來實現AI願景，玉山毅然決然，放棄自建模型的策略，轉而採用第三方業者的雲端LLM服務。

不過，玉山多年AI的投入，並沒有白費，而是讓他們很快就能銜接到最新生成式AI技術。這其中，最關鍵的是，玉山有一套MLaaS平臺（機器學習即服務平臺），全面以API形式來提供AI服務，而不是直接把AI技術寫入到每一套系統中。

在金融業，對內要全面用API來串接不同的系統，不是一件容易的事，但是，玉山當年決定全力發展AI，就計畫要能夠全面地使用AI，因此，玉山將不同的AI功能，打造成一隻又一隻的API，方便以API形式整合到各式各樣的系統上。也搭配發展出了一套從訓練、開發、部署、提供服務到維運，涵蓋整個開發到維運生命周期的MLaaS平臺。這不僅是金融業，也是臺灣大型企業中少見如此系統化、大規模發展AI的作法。

雲端業者提供的各種生成式AI服務、LLM服務，正是以API形式來串接，玉山當年所做的選擇，正好是現在當紅的生成式AI主流服務提供形式。玉山只需要外部的第三方生成式AI的API，串接到原本的MLaaS平臺中，就能延續原本的作法，甚至不需要重新調整、修改MLaaS平臺對內部系統的串接方式，累積3年的API化AI應用開發經驗，一點都沒有白費。

隨著金融主管機關這兩年逐漸鬆綁金融上雲的規範，金融業者更容易使用公雲上的服務，剛好解了玉山採用雲端生成式AI的一大難題，不過，還有另一個挑戰，要將內部資料拋轉到外部的第三方服務上，如何徹底避免機敏資料外洩是另一項考驗。

許多企業為了預防機密外流，都會對上傳到雲端生成式AI的資料進行遮蔽，將機敏資料移除，來避免外洩。但是，生成式AI是依據上下文來進行推論，一但提供的內容中有缺漏，就可能會影響生成的結果。

玉山找到了兩全其美也更進階的作法，採取等價交換的方式，將機敏資料替換成類似但卻是模擬的假資料，例如原本提到了真實的信用卡號，則替換為假的信用卡資料，或是用假姓名來取代真實的姓名，既能避免外洩機敏資料，又能讓生成式AI有較完整的上下文脈絡可用。

玉山在這套機器學習即服務平臺MLaaS上，提供和維運了AI五大類服務，包括行銷AI、風控AI、服務AI、流程AI以及賦能AI，生成式AI就是流程AI類的其中一隻API。玉山也發展出了一整套的生成式AI平臺稱為GENIE，以RAG作法為核心。

GENIE是一隻獨立的API，容易串接、整合到多種延伸應用服務或是各種內部系統上。玉山也搭配自建的金融知識庫，運用RAG技術來提升LLM模型的回答精準度。

透過這個平臺，玉山先發展出了12類生成式AI應用服務，其中11項已經正式啟用，一項還在開發中。這只是玉山生成式AI的一小步，這套涵蓋整個生命周期的MLaaS是玉山發展更多AI應用的加速器，從自建NLP到擁抱第三方LLM服務，玉山的AI戰略，換了更先進的新引擎，可以站在更高的技術力上，讓AI 繼續全面落地。

 相關報導