導航:首頁 > 軟體資訊 > 文字怎麼軟化手語app

文字怎麼軟化手語app

發布時間:2023-09-14 00:12:29

① 翻譯臂環可將手語轉化成語音是怎麼回事

北京航空航天大學研究生王娜娜,清華大學研究生黃爽,歷時兩年,為失語者群體研究出一款直接將手語轉化成語音的翻譯臂環。應用後,可以實現失語者與普通人的流利對話。她們說,團隊從沒想過賺錢,只想幫失語者朋友解決溝通障礙。

上網一查,數字更讓兩人咋舌:失語者(包含聽障人士、腦中風患者、腦癱患者和漸凍症患者)在中國的數量達到7000萬人,占總人口的5%,這是一個非常龐大的數字。

兩個人想起了參加「馮如杯」(馮如杯為北航校內學生學術科技作品競賽)時的圖像識別項目,當時這個項目獲得了一等獎,或許可以用這種技術幫助失語者。王娜娜回憶:「我們感覺發現了一個沒有人發現的需求,想成為第一個實現它的人,也讓我們所學的知識有價值。」

於是,她倆著手研究手語翻譯的可行性,開始查論文、做實驗、寫代碼,用馮如杯一等獎獎金5萬元作為啟動資金行動起來。圖像識別被否決了,因為不能隨時攜帶攝像頭;手套被否決了,因為太引人注意,最終確定了通過臂環捕捉肌電信號的方法。因為智能手錶逐漸普及,失語者帶著臂環看上去並不突兀。

產品一次次迭代,為的是要保護失語者的尊嚴。黃爽記得,她們做過「體驗一天失語者」的活動。在便利店,因為結賬時需要了解價格,失語者只能通過手機和店員溝通,時間稍長排在後面的人開始不耐煩地催促。「如果別人知道我是失語者可能會體諒,但不知道就會埋怨,越埋怨我越著急。」一些失語者不願意別人稱呼他們為「聾人」,自己會寫成「龍人」。

確定研發方向後,關鍵是不斷地輸入數據、調試數據以保證手語翻譯的准確性。為了檢驗模型的可靠性,最初只有兩個人在錄手語的數據,整天戴著臂環不停地做動作,黃爽開玩笑說:「練下去咱倆就要成為麒麟臂啦!」

「當你真正去幫助他們,他們就知道是為他們好,就會非常配合。」王娜娜說,為了保證數據的多樣化,並且真正讓失語者喜歡,她們後來聯系了天津理工大學聾人工學院,合作進行數據採集和智能臂閉環開發,還與北京市朝陽區殘聯達成合作意向,為「手音」的產品服務化提供咨詢、指導。張權也成了團隊的顧問。

如今,「手音」涵蓋了200個手語動作,為了保證精確度,每一個動作錄制了1000人次。在有了自己的手勢資料庫之後,團隊還搭建了一個7層BP神經網路(一種按誤差逆傳播演算法訓練的多層前饋網路,是目前應用最廣泛的神經網路模型之一)對數據速度進行訓練,目前識別准確度已經達到95%。

直到去年8月,團隊里只有王娜娜和黃爽兩個人,後來其他人逐漸加入。他們沒有辦公室,開會都是「打游擊戰」,咖啡廳、餐廳、教室都被徵用過,做研發都是在自己的實驗室里,但王娜娜說:「我們一天都沒有想過放棄。」後來,團隊內有人因出國而退出,王娜娜在北航保研繼續深造,黃爽保研至清華大學。兩個女學霸沒有因升學而放棄團隊,繼續堅定地吸引人才研發產品。

由女生主導的技術型創業團隊很少見,兩個人也經歷了磨合。最初,黃爽遇到意見不同時會等著雙方都冷靜下來回宿舍再溝通。王娜娜告訴她,團隊溝通對事不對人,要彼此敞開心扉,現在兩個人可以為一件事辯論個「你死我活」,也能在達成一致意見後手挽手去吃吃喝喝。團隊里還有其他技術人員,大家一起熬夜寫代碼的時候,兩個女生也會偶爾化身為「程序員鼓勵師」,一起為團隊加油打氣。

這兩個分別出生於1994年、1995年的女生笑著說:「或許因為我們現在還沒有走向社會,沒有買房的苦惱和社會的壓力,只是覺得我們所擁有的技術能夠對社會有價值,能夠真正幫助一些人,我們又有時間,那就做吧!」

她們關於未來有很多設想,「手音」可以實現面對面小聊和長時間對話的功能,未來還可以推出手語教學、手語字母和智能臂環閉環,解決手語教師缺乏等各種問題。此外,這種人工智慧技術成熟後還可以應用在其他方面,例如可以教學鋼琴的孩子更加准確地彈琴。

閱讀全文

與文字怎麼軟化手語app相關的資料

熱點內容
壓縮包里文件夾是白色的 瀏覽:470
編譯鏈接知乎 瀏覽:589
php查詢按鈕 瀏覽:713
有音響游戲解壓神器 瀏覽:251
怎麼壓縮圖片jpeg 瀏覽:711
澳大利亞net程序員 瀏覽:577
程序員加班難受 瀏覽:986
如何看伺服器品牌 瀏覽:254
ecy50clp壓縮機多少W 瀏覽:752
mac終端命令怎麼保存 瀏覽:848
微信公眾號圖片壓縮 瀏覽:438
可以在安卓平板上畫畫的軟體是什麼 瀏覽:436
高盛數字加密 瀏覽:895
軟著網上能不能查到自己的源碼 瀏覽:915
編譯好的android源碼 瀏覽:993
學校機房雲伺服器和電腦主機 瀏覽:10
Python紅色五角星畫法 瀏覽:337
壓縮餅干翻譯 瀏覽:686
macos命令行窗口的樣式 瀏覽:248
androidflipboard 瀏覽:878