跳到主要內容區

資工系教授余亞儒團隊開發「手語之聲」 造福聽障人士 解決即時溝通不便困擾

發布日期 : 2025-01-15 公告分類 : 114年深耕精彩成果

資工系教授余亞儒團隊開發「手語之聲」 造福聽障人士 解決即時溝通不便困擾

主要圖片

│You Need to Know

 國立高雄大學資訊工程學系 ( 資工系)教授余亞儒,指導江東庭、李思恩、王雋硯、蔡東祐等4位大四學生,結合「光流(Optical Flow)」、「深度學習(Deep Learning)」與「大語言模型(Large Language Model,LLM),開發即時手語辨識系統「手語之聲」,造福聽障人士,解決日常溝通不便困擾,該成果入選國科會大專學生研究計畫,以及校內「激發學生創意競賽--創業實作組」第一名殊榮。

 

Outline

【余亞儒談聽障群體的需求與挑戰woman in black long sleeve shirt using macbook

 

余亞儒表示,根據政府資料,台灣約有18萬9千名聽障人士,其中台灣手語使用者2至3萬人,但全台僅有591名具備證照的專業手語翻譯員,加上多數民眾不諳手語,使得聽障人士在購物、銀行、醫院等生活場景溝通不便,無法得到即時回應,但這類相對少數(族群)的需求也代表商機有限,通常鮮少企業願意開發(解決方案),但對社會卻是非常有幫助,也因此團隊積極運用自身專業、助其改善生活品質。

Output

【即時手語辨識技術,未來應用潛力無限

「手語之聲」系統運用了光流技術、深度學習和資料生成技術,僅需普通攝影鏡頭即可捕捉使用者手部動作及臉部表情並即時分析,能夠準確快速地轉換為文字或語音,準確率可達93%。

即時手語辨識系統應用潛力廣泛,能夠融入教育、醫療、公共服務等多個領域。例如協助學校教師與聽障學生教與學;幫助醫護人員與聽障患者溝通病情;又如設置於政府、商業場所服務窗口,提升聽障人士在公共空間的便利性與參與度。

團隊成員江東庭表示,「我們突破手語資料稀缺的瓶頸,透過少量資料進行生成和擴充,使得系統能正確識別詞彙並將其組成完整句子。」該技術的核心在於用影像取代傳統的感測器方案,降低成本同時提升便利性。

余亞儒補充說明,系統目前能辨識單詞並串接成句,未來若能克服判斷句子斷點等挑戰,以及擴充至穿戴裝置或手機應用程式,應用場景將更為廣泛。例如與緊急救援系統加以整合,協助聽障人士報警、警消救援溝通更加順暢。

「手語之聲」成果獲得肯定,不僅通過113學年度國科會大專學生研究計畫,也摘下校內本(12)屆激發學生創意競賽—創業實作組第一名榮銜。

【聯合國永續發展目標(SDGs)系列推廣】

 教育品質  SDG 08 促進持久、包容和永續經濟增長,促進充分的生產性就業和人人獲得適當工作。  SDG 11 建設包容、安全、具防災能力與永續的城市和人類住區。  SDG 11 建設包容、安全、具防災能力與永續的城市和人類住區。 

#SDG4 #SDG8 #SDG10 #SDG11 @資訊工程學系 &研究

【文字:資工系教授兼教發中心副主任余亞儒;編修:公共事務組

登入成功