職訓局研發實時手語翻譯系統 收集數據並連結手語詞彙

發佈日期: 2021-03-02 23:27

港澳

粵普

已複製連結

本港有超過十五萬名聽障人士，不過懂手語跟他們溝通的人不多，實時手語翻譯系統可能幫到手。

打開智能應用程式，用手機鏡頭記錄前方做手語的人的動作，等待大約五至六秒。「我想食早餐」就可以翻譯出來。

這個實時手語翻譯系統，年多前由四名修讀軟件工程的職訓局學生，花了約一年時間研發。負責的老師表示，內置「三維手部動作追蹤系統」，顯示每隻手各21個檢測點，用來收集數據。

IVE(沙田)資訊科技系署理高級講師郭譽豪表示：「例如手掌、手背或者手的關節，當它(系統)認識了關節之後，就會轉為一些座標數據，然後儲存在數據庫中，將手部的數據透過深度學習，連結到手語詞彙當中。」

手語並非世界共通的語言，不同地方有不同的手語，這個系統只是針對香港的情況，如果做錯，當然會有不同意思。如再做「我想食早餐」的手語，但「食」字放錯位置；「想」字的手語，由橫向變為向前。

IVE資訊科技學科高級文憑畢業生張皓源稱：「正常做『想』(動作)是這樣，但如果我們做這個動作的時候，是做了向前或向後，這就有機會有誤差，我們就需要先看看那些數據是怎樣，再作出修正。」

他指每個字詞，一般只要做二十、三十次相關手語，就有足夠數據加入翻譯系統，但好像「打邊爐」這個較多動作組成的手語，要有更多數據，才能讓系統徹底了解之間的關係。