大腦活動能夠解碼成語音了。說話似乎是一項毫不費力的活動,但它其實是人類最複雜的動作之一。說話需要精確、動態地協調聲道發音器官結構中的肌肉——嘴唇、舌頭、喉部和下頜。當由於中風、肌萎縮側索硬化症或其他神經系統疾病而導致言語中斷時,喪失說話能力可能是毀滅性的。來自加州大學舊金山分校的科學家創造了更接近能夠恢復說話功能的腦機接口(brain–computer interface,BCI)。腦機接口旨在幫助癱瘓患者直接從大腦中“讀取”他們的意圖,並利用這些信息控制外部設備或移動癱瘓的肢體,這項技術目前能夠使癱瘓的人每分鐘最多能打出8個單詞,而加州大學舊金山分享的研究人員開發了一種方法,使用深度學習方法直接從大腦信號中產生口語句子,達到150個單詞,接近正常人水平!這項研究發表在最新一期《自然》雜誌上,作者為Anumanchipalli以及華裔科學家Edward Chang等人。01.每分鐘能夠生成150單詞,接近正常人類水平加州大學舊金山分校的研究人員與5名志願者合作,志願者們接受了一項被稱為“顱內監測”的實驗,其中電極被用於監測大腦活動,作為癲癇治療的一部分。許多癲癇患者的藥物治療效果並不好,他們選擇接受腦部手術。在術前,醫生必須首先找到病人大腦中癲癇發作的“熱點”,這一過程是通過放置在大腦內部或表面的電極來完成的,並監測明顯的電信號高峰。精確定位“熱點”的位置可能需要數週時間。在此期間,患者通過植入大腦區域或其附近的電極來度日,這些區域涉及運動和聽覺信號。這些患者一般會同意利用這些植入物進行額外的實驗。ECoG電極陣列由記錄大腦活動的顱內電極組成此次招募的五名志願者同意測試虛擬語音發生器。每個患者都植入了一兩個電極陣列:圖章大小的、包含幾百個微電極的小墊,放置在大腦表面。實驗要求參與者背誦幾百個句子,電極會記錄運動皮層中神經元的放電模式。研究人員將這些模式與患者在自然說話時嘴唇,舌頭,喉部和下頜的微小運動聯繫起來。然後將這些動作翻譯成口語化的句子。參與的志願者大腦中的電極陣列位置實驗要求母語為英語的人聽這些句子,以測試虛擬語音的流暢性。研究發現,大約70%的虛擬系統生成的內容是可理解的。最終,這套新系統每分鐘能夠生成150單詞,接近自然講話的語速水平。而以前基於植入物的通信系統每分鐘可以生成大約8個單詞。02.技術細節:兩階段解碼方法在這項工作中,研究人員使用了一種叫做高密度皮層腦電圖的技術來跟踪志願者說話時大腦中控制言語和發音器官運動的區域的活動,志願者們被要求說了幾百句話。為了重建話語,Anumanchipalli等人不是將大腦信號直接轉換為音頻信號,而是使用一種兩級解碼的方法。他們首先將神經信號轉換為聲道發音器官運動的表示,然後將解碼的運動轉換為口語句子,如圖1所示。兩次轉換都使用了遞歸神經網絡——一種人工神經網絡,在處理和轉換具有復雜時間結構的數據時特別有效。圖1:語音合成的腦機接口在上圖A中,以前的語音合成研究採用的方法是使用腦電圖(ECoG)設備監測大腦語音相關區域的神經信號,並嘗試將這些信號直接解碼合成語音,使用一種稱為遞歸神經網絡(RNN)的人工神經網絡;上圖B中,Anumanchipalli等人開發了一種不同的方法,RNN被用於兩階段解碼。其中一個解碼步驟是將神經信號轉換成聲道發聲器官(紅色)的預估運動,涉及到語音生成的解剖結構(嘴唇、舌頭、喉部和下頜)。為了在第一個解碼步驟中進行訓練,作者需要每個人的聲道運動與他們的神經活動關聯起來的數據。因為無法直接測量每個人的聲道運動,Anumanchipalli等人構建了一個RNN來預估這些運動,其訓練數據是之前收集的大量聲道運動數據和語音錄音。這個RNN產生的聲道運動估計足以訓練第一個解碼器。第二個解碼步驟將這些估計的動作轉換成合成語音。Anumanchipalli和他的同事的兩步解碼方法產生的口語句子的失真率明顯低於直接解碼方法獲得的句子。與直接解碼聲學特徵相比,作者採用的兩階段解碼方法能明顯減小聲音失真。如果可以獲得跨多種語音條件的海量數據集,那麼直接合成可能會接近或優於兩階段解碼的方法。然而,考慮到現實中數據集的匱乏,解碼的中間階段會將聲道發音器官正常運動功能的信息帶入模型,並限制必須評估的神經網絡模型的可能參數。這種方法似乎使神經網絡能夠實現更高的性能。最終,反映正常運動功能的“仿生”方法可能在復制自然語言典型的快速、高精度通信方面發揮關鍵作用。03.不能說話的個體也能實現語音合成在腦機接口(BCI)研究中,包括新興的語音腦機接口領域,開發和採用允許跨研究進行有意義的比較的穩健度量是一項挑戰。例如,重構原始語音的錯誤等度量可能與腦機接口的功能性能(即聽者是否能聽懂合成的語音)幾乎沒有對應關係。為了解決這個問題,Anumanchipalli等人從語音工程領域出發,開發了易於復制的人類聽眾語音可懂度測量方法。他們在眾包市場Amazon Mechanical Turk上招募用戶,讓志願者識別合成語音中的單詞或句子。與重構錯誤或以前使用的自動可懂度測量方法不同,這種方法直接測量語音對人類聽眾的可懂度,而不需要與原始話語進行比較。Anumanchipalli和他的同事的研究結果為語音合成腦機接口的概念提供了令人信服證據,無論是在音頻重建的準確性方面,還是在聽者對產生的單詞和句子進行分類的能力方面。然而,在通往臨床可行的語音腦機接口的道路上仍有許多挑戰。重構語音的可理解性仍遠低於自然語音,腦機接口能否通過收集更大的數據集並繼續開發底層的計算方法來進一步改進還有待觀察。使用記錄局部腦活動的神經接口可能比使用皮層腦電圖記錄的更為有效。例如,在腦機接口研究的其他領域,皮質內微電極陣列通常比皮質腦電圖具有更高的性能。目前所有語音解碼方法的另一個限制是需要使用語音來訓練解碼器。因此,基於這些方法的腦機接口不能直接應用於無法說話的人。但是Anumanchipalli和他的同事們發現,當志願者在不發聲的情況下模仿語音時,語音合成仍然是可行的,儘管語音解碼的準確率要低得多。無法產生語音相關動作的個體是否能夠使用語音合成腦機接口是未來研究的一個問題。基於神經解碼的無聲模仿語音合成值得注意的是,在首次對腦機接口進行概念驗證研究以控制健康動物的手臂和手的運動之後,人們對這種腦機接口在癱瘓患者身上的適用性提出了類似的問題。隨後的臨床試驗令人信服地證明,使用腦機接口,人類可以快速交流、控制機械臂、恢復癱瘓肢體的感覺和運動等。最後,這些令人信服的概念驗證證明了不能說話的個體也能實現語音合成,結合腦機接口在上肢癱瘓患者中的快速進展,研究人員認為應該大力考慮涉及言語障礙患者的臨床研究。隨著持續的進步,希望更多有語言障礙的人能夠重新獲得自由表達思想的能力,並重新與周圍的世界聯繫起來。華裔科學家解碼,馬斯克腦機接口公司也會有新動作Nature這篇文章的作者之一是加州大學舊金山分校神經外科教授Edward Chang博士。Edward ChangEdward Chang博士的研究重點是言語、運動和人類情感的大腦機制,同時他也是加州大學舊金山分校和加州大學伯克利分校的合作單位——神經工程與假肢中心的聯合負責人。該中心匯集了工程、神經病學和神經外科方面的專家,以開發最先進的生物醫學技術,用以恢復神經系統殘疾患者的功能,如癱瘓和言語障礙。Edward Chang博士表示,這次在Nature上的研究,“我們通過解碼大腦活動提升語音的清晰度,模擬的語音比從大腦中提取聲音表示的合成語音更準確、更自然。”人類將大腦與計算機相連的努力越來越多。上個月,美國一組科學家在biorxiv.org上發表一篇論文,稱找到了快速將電線植入大鼠大腦的方法,論文中描述這個過程是“向人類大腦直接插入計算機潛在系統邁出的重要一步”。研究人員將他們的系統稱為“縫紉機”(sewing machine),科學家在實驗室中移除一塊老鼠的頭骨並插入一根針頭,將柔性電極送入老鼠的腦組織。彭博新聞報導,這組科學家與馬斯克的腦機接口公司Neuralink有各種鬆散關聯。Neuralink於2016年註冊為加州的一家醫學研究公司,該公司聘請了來自不同大學的幾位知名神經科學家,並與加州大學戴維斯分校的實驗室簽約,對靈長類動物進行研究。本週三,當Twitter用戶詢問Neurink的進展時,馬斯克說,“可能會在幾個月內宣布一些值得注意的事情。”馬斯克認為,腦機接口技術能在2021年之前治療嚴重的腦損傷。此外,科學可以通過腦機接口擴大人類的能力。他舉了一個例子:人們可以通過心靈感應來傳達複雜的概念,“你不需要用語言表達”。人類是否有一天會與機器合併?馬斯克認為,人類已經在某種程度上做到了這一點,因為智能手機等近乎無所不在的技術,因此腦機接口這項工作應該繼續下去。這可能會導致科幻未來,因為人們可以在腦海中下載外語,你覺得呢?本文經授權發布,不代表36氪立場。 如若轉載請註明出處。來源出處:36氪


文章轉貼如有侵權請告知我們會立即刪除
免費a片AV女優 新的娛樂城 炫海娛樂城 正妹聊天室 免費OL絲襪美腿自拍 球版 財神娛樂城 免費影片 運彩 自慰視頻影片 視頻聊天室 線上博弈 色情 娛樂城優惠 聖發娛樂城 色情漫畫 成人漫畫 aio交友愛情館 博弈遊戲 通博娛樂評價 娛樂城送體驗金 現金板被抓 九州娛樂城 通博官方 成人電影 a片 免費影片 一夜情貼圖片區 mlb投注 av性愛 成人網站 nba投注 豆豆聊天室 戴子郎投資學院 情色a片下載 賓館偷拍影片直播 自拍貼圖 北京賽車 通博娛樂評價 現金版是什麼 免費a片 賭神小古課程 正妹聊天室 現金網 嘟嘟成人網站 博客網 娛樂城註冊送 財神現金網 歐博百家 現金版 免費a片下載無碼有 自慰視頻影片 情色文學 色情 18成人網站 娛樂城註冊優惠活動 博弈 聊天室 財神娛樂城 現金板被抓 九州現金板 線上免費看a片 現金板 賭場黑名單 成人文學 免費OL絲襪美腿自拍 現金版代理 娛樂城活動 情色小說 淘金娛樂城 天下現金 臺灣情色網 財神現金板 通博現金版 九州現金版 運彩現金 成人文章 偷拍裙底直播 台灣賭神 戴子郎的漏洞投資學 現金版詐騙 娛樂城 娛樂城優惠 成人小說 通博現金網 免費影片 博弈遊戲 娛樂城評價 博弈 台灣賭神 色情 六合彩 a片免費看 聊天室 運彩 九州娛樂評價 九州娛樂 a片 通博娛樂 賓館偷拍影片直播 豆豆聊天室 a漫 百家樂 免費a片下載 球板 色情漫畫 首席娛樂城 21點算牌 aio交友愛情館 做愛成人貼圖 免費OL絲襪美腿自拍 聖發娛樂城 av性愛 金合發 天下現金 歐博百家 日本a片卡通 嘟嘟情人色網 信用版 成人貼圖區 自拍貼圖 情色論壇 戴子郎 h漫 威博娛樂城 情色文學 成人漫畫 球版 通博台灣 戴子郎的漏洞投資學 成人光碟 成人小說 賭金 娛樂城 現金板 色情影片 色情小說 hoya娛樂城 九州現金網 戴子郎百家樂 娛樂城優惠 成人影片 通博娛樂城 通博現金板 娛樂城推薦 聖發娛樂城 av性愛 娛樂城送體驗金 財神現金版 報牌 全裸美女寫真集 娛樂城推薦 日本a片卡通 無碼性愛 賓館偷拍影片直播 正妹聊天室 情色論壇 一夜情貼圖片區 通博現金版 九州現金網 炫海娛樂城 九州娛樂城 情色文學 老虎機 mlb投注 娛樂城賺錢 現金板被抓 色情 免費a片下載無碼 運彩 嘟嘟情人色網 現金版 星城娛樂 hoya娛樂城 偷拍裙底直播 娛樂城體驗金 真人百家 成人電影 星城online 六合彩 百家樂 通博台灣 18成人網站 信用板 線上博弈 成人影城 臺灣情色網 娛樂城註冊送 財神娛樂 性感影片 色情小說 聊天室 老子有錢 做愛成人貼圖 通博現金板 成人文章 av女優 a片下載 成人漫畫 首席娛樂城 台灣賭神 戴子郎投資學院
arrow
arrow
    全站熱搜

    qpdeeree177628 發表在 痞客邦 留言(0) 人氣()