語音演算法引擎負責人

① TTS是什麼意思呢

TTS是指一項語音合成技術。

語音合成是將人類語音用人工的方式所產生。若是將電腦系統用在語音合成上，則稱為語音合成器，而語音合成器可以用軟/硬體所實現。

文字轉語音系統則是將一般語言的文字轉換為語音，其他的系統可以描繪語言符號的表示方式，就像音標轉換至語音一樣。

(1)語音演算法引擎負責人擴展閱讀：

發展歷史

1、17世紀法國人研發機械式的說話裝置，直到19世紀，貝爾實驗室對於電子語音合成技術的研究，才開啟近代語音合成技術的發展。

2、貝爾實驗室在1939年製作出第一個電子語音合成器VODER，是一種利用共振峰原理所製作的合成器。

3、1960年，瑞典語言學家G. Fant則提出利用線性預測編碼技術（LPC）來作為語音合成分析技術，並推動了日後的發展。

4、1980年代Moulines E和Charpentier F提出新的語音合成演算法PSOLA，此技術可以合成比較自然的語音。

② 語音崗位職責

語音崗位職責

在當下社會，崗位職責使用的頻率越來越高，崗位職責的明確對於企業規范用工、避免風險是非常重要的。崗位職責到底怎麼制定才合適呢？以下是我幫大家整理的語音崗位職責，希望能夠幫助到大家。

語音崗位職責1

一、嚴格按照課表規定的時間使用語音室，如有變動需經請示批准後執行。

二、實行坐班制，不遲到、早退、脫崗。管理員應於課前10分鍾開門，課後10分鍾內鎖門，無課語音室不得長時間處於開門狀態；上課前五分鍾內，管理人員在各個語音室之間來回走動，必要時進入語音室，協助教師檢查學生遵守語音室管理制度情況。

三、管理人員應鑽研語音設備的使用及維護技術，經常與使用語音室教師溝通了解設備運行情況並聽取意見，及時發現並處理設備故障，重大問題逐級匯報並迅速聯系專業維修人員。

四、課後管理人員要認真檢查各語音室設備是否出現故障,耳機等配件是否放在規定的位置上，以及學生座位有無缺損、塗寫等現象，如有上述情況出現，根據《語音室使用記錄表》追究最後一位使用者的責任。

五、負責語音室的安全及衛生。安排勤工助學學生定期打掃衛生並督促檢查；鎖門前務必檢查門窗、電源等，出現異常情況需及時上報。如出現語音室門沒鎖好的情況，由當班管理員解決並承擔責任。

六、做好語音室各種文字檔案的搜集、整理和保管工作，包括《語音室基本情況表》、《語音室使用記錄表》、《語音室維護記錄表》、《語音室故障及維修記錄表》、各種產品供應商的資料及其他文字資料。

七、做好語音室各種實物資料的整理和保管工作，包括各種啟動光碟、使用說明、保修卡以及各種維修用工具、備件等

八、做好語音控制軟體的維護工作，督促教師課前對u盤殺毒，並按時對殺毒軟體進行病毒庫升級。

七十四、多功能教室管理員崗位職責

一、多媒體與語言實驗室工作人員必須堅守工作崗位，熱情服務，虛心聽取教師和學生的意見，不斷改進工作方法和服務態度，努力提高服務質量。

二、嚴格遵守並執行多功能教室管理制度，維持正常良好的教學秩序。

三、負責管理多功能教室內一切機器設備，並對其登記造冊，記錄在案。

四、要定期擦拭機器和主控台，保持教室及教學設備的環境衛生。

五、做好機器設備的維護保養及維修工作，每學期至少應對設備進行一次大的檢查和保養工作，以保證其性能良好。

六、嚴格執行學校的教學安排，根據教學課表使用多功能教室，沒有經過學校領導同意管理人員不得擅自外借教室或將教室用於娛樂、聚會等活動。

七、機器使用結束後，應及時關斷電源，鎖好控制台，並注意防火、防盜，以保證媒體教室及設備的安全。

語音崗位職責2

職責描述：

1、用NLP相關知識研發智能問答系統的解決方案；

2、參與語義理解引擎與對話系統的設計與開發；

3、利用機器學習和NLP相關技術，參與構建行業/領域知識庫，搭建知識管理平台；

4、實現應用產品解決方案，進行效果調優，並不斷迭代產品效果。

任職要求：

1、計算機相關專業碩士，包括：自然語言處理、計算語言學、機器翻譯、信息檢索等；

2、熟悉自然語言處理、機器學習、深度學習等常用演算法，熟悉NLP領域當前熱點和前沿技術，對NLP有完整的、系統的認識；

3、有相關項目經歷，包含但不僅限於以下方向：智能客服、文本分類、信息抽取、知識圖譜、問答系統、對話系統等，有語音識別背景最佳；

4、熟練掌握C/C++編程語言；熟練使用Python，Shell等腳本語言；

5、良好的團隊合作精神，較強的溝通能力；

6、優秀的分析和解決問題的能力，以及較強的`抗壓能力。

語音崗位職責3

一、樹立服務意識，端正服務態度，增強工作責任感，樹立「服務、保障、協作、實干」的工作宗旨。

二、明確分工職責，刻苦鑽研業務，不斷提高業務水平，努力做到「科學化，規范化、程序化，人性化」的管理模式。

三、按照排課通知，提前做好教室使用的准備工作，檢查並保證相關設備的正常運行。

四、耐心解答並幫助任課教師在使用過程中遇到的有關操作問題，課間經常巡迴檢查，發現問題及時排除。

五、每班使用結束後，及時檢查有關設備的運行情況，檢查老師填寫的《使用情況表》，發生故障、損壞、遺失及其他事故，並立即向任課教師反映，作好書面記錄。

六、保持各教室的安靜、整潔，下班前切斷水電，關好門窗。

七、電教設備一律不得外借，特殊情況，必須辦理手續。

八、嚴格遵守學院的各項規章制度，杜絕上班期間擅離職守，做與工作無關的事情，切實履行有事外出請假制度。

九、完成領導交給的其它臨時性工作。

③ 騰訊演算法高級研究員陳松堅：智能問答技術及其應用

隨著人工智慧的飛速發展以及廣泛落地應用，越來越多的設備將會被植入智能問答技術，人機交互場景隨處可見，智能問答在未來將會成為一個非常重要的入口。

騰訊小知憑借著業界領先的智能AI引擎演算法和海量大數據倉庫，已將智能問答技術落地實施，並且經過大量的業務考驗和優化，知識點匹配度和准確率都已達到90%以上，在2018 年 GITC 全球互聯網技術大會上，騰訊小知榮獲年度互聯網最具價值產品獎。

騰訊小知演算法負責人陳松堅也在會場發表了關於智能問答技術原理及其在To B場景下的應用的專題演講，從自己的角度為我們展現智能問答技術的最新成果。

他首先從智能問答是什麼，為什麼和怎麼做的三個問題出發，闡明了他對當前智能問答技術的定位和價值，首先，現階段的智能問答是信息檢索技術的升級，是量變而未達到質變。但是無論在To B還是To C的場景下，當前的技術都能夠切實解決一些用戶的痛點，提升用戶體驗，是亟待推進和充滿想像的方向。

在回答怎麼做這個問題時，他詳細介紹了幾種不同的問答機器人的實現路徑，包括單輪叢敏問答機器人，多輪問答機器人及閱讀理解機器人。其中重點闡述了單輪問答機器人的實現原理，包括字面匹配，詞向量匹配，深度語義匹配，遷移學習等技術。

此後他還分享了小知團隊將上述技術產品化的經驗，包括智能客服機器人和電話機器人兩大塊，主要分享了當前產品的形態，亮點和實際項目中取得的一些成果。

最後，他簡單總結了小知目前完成的工作以及就智能問答的發展提出了自己的幾點看法。

--------------------------------------------------------------

以下是演講稿全文：

各位下午好，很高興今天能在這里給大家做分享報告。先介紹一下，我們騰訊小知是致力於為政府和各行業提供一攬子智能問答解決方案的團隊，目前已經落地的包括基於文本的智能客服機器人和碧和基於語音的電話機器人等。

在大多數人的認知里，智能問答很可能是以上的3個印象，2011年打敗了人類取得問答競賽冠軍的waston;2017年被沙特授予公民身份的機器人sofia;更為大家熟知的鋼鐵俠中的機器人管家jarvis。在大家心目中，智能就意味著能夠像真人一樣交流。然而作為從業者，很遺憾地告訴大家，目前的技術還遠沒有達到這個目標，我認為本質上目前的智能問答技術是對信息檢索技術的一次升級，是量變而未到質變。這個皇冠上的明珠還等待我們去摘取。

既然問答技術還不成熟，那為什麼還要投身到這個領域呢。我想從To B和To C兩個角度去回答。對企業來講，當前的問答技術雖然無法解答復雜的咨詢，但是大部分的簡單的頭部問題是可以比較好的解答的。從本輪AI大潮NLP賽道的幾名種子選手都從智能客服這個方向切入就可以看出企業是確實存在對智能問答的剛性需求。而對普通用戶來講，一方面siri等語音助手每天都在為用戶提供便捷的交互界面，另一方面像amazon echo這一類的智能家居產品也逐步進入千家萬戶，成為物聯網生態的中心入口之一，這便是智能問答的價值所在。

那如何實現智能問答機器人呢?我們先來看最基本的單輪問答機器人的實現原理。

熟悉搜索引擎的朋友會發現這個架構跟搜索引擎的很類似。單輪問答一般來說就是FAQ問答，是基於業務問答對組成的問答庫進行檢索匹配。其中FAQ問題集包含多個悔鄭盯相似問法供用戶問題去匹配。預處理階段一般會進行文本糾錯，標准化和底層NLP特徵提取;召回階段會在倒排索引中召回若干個候選問題(粗排)，而最後的匹配階段會基於各種模型進行匹配打分並返回得分最高的結果(精排)。匹配階段還會引入其他模塊，如知識圖譜和拒識模型，目的是輔助提升匹配的最終准確率。

retrieval中的匹配可以看做是naive solution，詞袋+VSM, 篩選候選夠用了，但是精排需要更精緻的策略，第一，要利用監督信息做擬合，我們構建基於問題對的訓練語料，擬合是否匹配這個二分類目標。第二，特徵上拋棄稀疏的詞袋模型，而是構造各種相似度來做base scorer，然後利用非線性的抗噪能力強的xgboost來做融合，比如我們用到詞bigram, 字bigram, 核心詞，名詞等特徵集合的相似度。這種方法的優缺點是一體的，由於模型只學習字面相似的特徵，因此不受領域影響，通用性強，適合用在冷啟動階段;但也因為只考慮字面相似，無法處理更深層的語義匹配。

那如何度量語義的相似呢。詞向量技術的興起是語義匹配的前提，所謂詞向量，是將孤立的傳統的token表示映射到相互關聯的向量空間中，這種關聯性，或者說是相似性，是通過詞語的上下文的來描述的。也就是說，上下文越相似的詞語，他們的語義就越相似，詞向量的歐式距離就越近。這是很容易理解的，更妙的是，通過對向量進行簡單加減運算，能夠呈現出概念的關系，比如king-man+woman的結果非常接近於queen, 因此說明詞向量能夠一定程度刻畫語義。那對句子如何做向量表示呢?一個簡單的想法是直接求和平均，WMD是另一個比較有意思且有效的做法，他將計算句子到句子的相似度建模成一個運輸的問題，把句子p的各個詞，運輸到q的各個詞上，也可以說是變換;運輸成本是詞向量的cosine相似度，而要運輸的是各個詞在句子中的權重，用線性規劃求解一個最優解，即為p到q的距離。另外還有個有效的方法是SIF，思路是做詞向量加權求和，但是突顯出句子中非通用的部分，即權重用詞頻倒數來計算權重，實驗效果也很不錯。

上面的方法有一個問題就是沒有利用有監督信息，所以效果有明顯的天花板。下面介紹這個工作是基於深層網路做有監督學習的匹配的，做法也比較簡單，首先把句子文本用one-hot編碼，假如詞典大小是500K，那編碼完長度就是500K維，其實等於是詞袋模型，然後輸入到一個多層的神經網路去學習，最終得到一個128維的向量作為句子的語義表示，然後用cosine計算兩個句子與文檔的相似度作為模型輸出。這個方法其實是將高維稀疏的token特徵映射到低維語義空間，跟詞向量的思路很類似，只不過訓練目標不同，並且這里使用了深層網路結構。

但是CNN對上下文的處理能力依賴於窗口大小，遠距離就沒辦法處理了，因此要考慮另一種網路單元RNN，這種單元是專門為時序模型量身打造的，簡單來說，每一時刻t上的隱藏狀態，或者說第t個詞上的語義編碼，都由兩個輸入共同決定，即上一時刻的隱藏狀態和當前時刻的原始輸入，而為了解決遠距離傳遞導致的梯度消失和梯度爆炸等問題，RNN有一些變種結構來應對，比如 LSTM和GRU等。

CNN和RNN都是對原始輸入進行語義編碼的基本單元，編碼後的向量就可以接入多層感知機進行相似度計算，如果是直接計算cosine相似度，那就是dssm的升級版，而更常見的做法是把兩個句子的編碼向量拼接在一起，再經過一個多層感知機計算相似度，而這種方法統稱為表達式建模;

另一種方案考慮到兩個句子之間的交互信息對學習他們是否匹配顯然更為重要，這一類方案被稱為互動式建模，右邊是一個典型的例子，他最大的不同是首先對兩個句子的所有窗口組合進行拼接和卷積，得到交互信息。然後再進行多次卷積和池化得到表示。其他的交互方式還包括編碼之後，進行交互操作，如作差，點乘等，還有計算attention表示，也是常見的交互方式。

下面介紹我們的方案，跟上面介紹的模型相比，我們的方案主要做了兩處改動，一個是使用了稠密連接的網路結構，讓rnn層的輸入和輸出拼接在一起做為下一層的輸入，第二個是混合注意力機制，即在計算attention向量進行互動式建模的基礎上，增加self-attention向量計算，然後把兩個attention向量經過門機制進行融合，這樣做一方面引入了問句間的交互信息，同時又增強了對自身的表達建模。

上面的模型是比較復雜的模型，參數量有5.8M。在實際中應用中訓練語料會嚴重不足，為了解決這個問題，我們引入了遷移學習的策略。首先第一種是多任務聯合學習，比如在擬合兩個問句是否匹配的同時，也對問句進行分類預測;另外還可以同時對匹配的問題對做seq2seq的翻譯模型訓練。這兩個策略都證明能有效提升准確率。

而另一個思路更加直觀，即引入其他領域的語料，所謂多語料遷移。Fine-tune即參數微調是其中一種做法，即先用通用語料訓練網路，固定底層表達層的參數，然後再使用領域語料調整上層參數;另一種思路參考了對抗學習的思想，即引入一個新的任務「混淆分類器」去判別當前樣本是來自源語料還是目標語料，通過在損失函數中增加反向的混淆分類損失項，讓混淆分類器盡可能地無法區分樣本的來源，從而保證共享了參數的表達網路能夠學習到兩部分語料中共性的部分。

以上的介紹都是為了完成一個基本的單輪對話機器人，而實際應用中，往往存在需要需要交互的場景，比如查詢社保余額，就需要用戶提供指定信息，如姓名，身份證號，手機號等。這種是所謂任務導向型機器人，而另一種，基於知識圖譜的機器人也往往會涉及到多輪交互。這里簡單介紹一下多輪對話機器人的架構，整體上是一個對話管理系統，總的來說是管理會話狀態，包含4個模塊，分別是輸入部分：自然語言理解模塊NLU，負責意圖識別和抽取槽位實體，比如這里匹配到了意圖是查詢社保余額，抽取到了社保號1234。得到的意圖和槽位值會送入到對話狀態追蹤模塊，DST，他負責會話狀態的更新，形式化來說是一個函數，輸入是當前狀態s和當前的query經過NLU處理過得到的意圖和槽位值q, 輸出新的狀態s『，下一步是把s』送入DPL，對話策略模塊，這個模塊是根據新的狀態s『輸出行動a，通常這個決策選擇會依賴於一個外部資料庫或知識圖譜，最後，由輸出部分，自然語言生成模塊NLG負責將行動轉換為自然語言文本，返回給用戶。

前面提到的單輪FAQ機器人，有一個問題是問答准確率依賴於問答庫的質量，而問答庫的構建耗時費力，所以針對數據較大的非結構化文檔，如果可以直接從中抽取答案，是非常理想的做法。比如斯坦佛大學開源的drQA，就是基於wikipedia的語料做的一個開放域上的問答機器人，我們來看看這種閱讀理解機器人的架構示意，他也是基於檢索重排的思路，首先把可能的文段從語料庫中摘取出來，然後送入閱讀理解模型進行答案定位，打分，排序和選擇得分最高的答案。閱讀理解模型與匹配模型是類似的，需要先對問題和候選文段進行編碼表示，不同之處在於最終預測的目標是答案的起始和結束位置。我所在的團隊在去年，在閱讀理解的權威公開測評Squad v1中取得過第一的成績，同時參加這個測評的包括了google, facebook, 微軟，阿里idst, 科大訊飛等國內外同行。說明業界對這種技術還是非常看重的。

下面分享小知在把以上技術落地產品化的經驗。首先我們來看看小知的整體架構圖，核心引擎有兩部分，一塊是上面重點闡述的深度語義匹配模型，另一塊是本次分享沒有展開的知識圖譜引擎，在此之上，我們構建了FAQ機器人，多輪會話機器人(任務機器人)，閑聊機器人等。以下是我們單輪和多輪機器人的示例。

在我們實際的落地項目中，得益於深度遷移模型的語義匹配能力和行業知識圖譜的的精準匹配和輔助追問，小知機器人能夠做到95%左右的問答准確率，並且節省了50%以上的服務人力，切實為政府和企業提升效率和降低成本。

在智能客服的基礎上，我們又打造了基於語音的電話機器人，力主融合智能客服，人工在線客服，工單系統和電話機器人，為客戶打造從售前售中售後的整體解決方案。

以下是電話機器人的整體架構圖，核心是自然語言理解NLU模塊，負責識別用戶提問意圖

提取相關實體。根據NLU輸出的結果，內置的對話管理引擎會進行流程狀態流轉和跟蹤。

另外，ASR語音識別和TTS語音合成是不可或缺的重要服務，這三個模塊相互協作，共同完成與用戶的交互。

最後對智能問答的未來發展提幾點我的看法。目前學術界比較公認的一個方向是，需要更有機地結合模型和規則，而在問答領域，規則的一大組成部分就是知識圖譜，包括開放領域的知識圖譜和專業領域知識圖譜。而更進一步地，我們需要研究帶有推理性質的事理型知識圖譜去描述領域內的規則和知識，讓機器人能夠處理帶有復雜條件的問題，提供更智能的回復。在我看來，智能問答的一個突破口就在於解決以上三個問題。以上就是今天分享的內容，謝謝大家。

主講人介紹：

陳松堅，騰訊數據平台部演算法高級研究員，有著8 年的 NLP 研發經驗，2017 年加入騰訊 TEG 數據平台部，負責智能客服產品騰訊小知的演算法規劃和落地。負責過多個智能客服項目，對封閉領域的智能問答有豐富的實戰經驗。

④ 微軟亞洲研究院的管理團隊

院長 洪小文博士
洪小文博士現任微軟亞洲研究院院長，負責研究院在互聯網搜索、數據挖掘、語音技術，及自然語言處理技術、系統、無線與網路、平台器件以及媒體通信等領域的研究管理工作。洪盯世博士同時還負責搜索技術中心（STC）及MSN/Live在中國搜索產品的開發。
來到中國之前，洪博士曾擔任微軟公司自然互動服務部門的架構師，在架構和技術層面上對微軟語音伺服器、自然用戶界面平台和微軟支持平台等諸多獲獎產品的開發做出了突出的貢獻。洪博士1995年加入微軟總部任高級研究員。此前，洪博士曾任蘋果公司的Apple-ISS研究中心的技術總監，帶領其團隊研發出蘋果中文聽寫機產品並獲得多項工業界大獎。
洪小文博士是美國電機電子工程師學會院士(IEEEFellow)和《Communication of the ACM》期刊的編委，在多種國際著名學術刊物及大會上發表過100多篇的學術論文。洪博士畢業於台灣大學，獲得電機工程學士學位，之後繼續深造於卡內基梅隆大學，並先後獲得計算機科學碩士及博士學位。
常務副院長 馬維英博士
作為微軟亞洲研究院的常務副院長，馬維英博士負責帶領研究團隊從事互聯網搜索和數據挖掘、自然語言計算以及人機交互等領域的研究工作。過去幾年裡，馬維英博士的研究團隊已經有大量的核心技術轉化進微軟搜索和在線服務產品中。他的團隊還在國際重要學術會議和期刊上發表了許多高水平論文，包括國際信悔則閉息檢索大會（SIGIR）、國際互聯網大會（WWW）和國際多媒體大會（ACM Multimedia）等。在馬博士的帶領下，他的團隊在互聯網搜索和數據挖掘以及多媒體信息檢索等研究領域的突出成就得到國際學術界的廣泛認可。
在2001年加入微軟亞洲研究院之前，馬維英博士從1997年開始一直在美國加州的惠普實驗室工作，從事多媒體自適應傳輸和移動網際網路的分布式多媒體服務系統碧裂的研究。從1994年到1997年攻讀博士學位期間，馬維英博士參與了加州大學聖芭芭拉分校的Alexandria數字圖書館（Alexandria Digital Library）項目，在此過程中，他開發的互聯網圖像檢索系統Netra被其他研究人員廣泛引用，並且被認為是最具代表性的圖像檢索系統之一。
馬維英博士是ACM信息系統學刊（TOIS）和ACM/Springer多媒體系統學報的編委。同時，他是第17屆國際互聯網大會（WWW）的程序委員會聯合主席，2007環太平洋多媒體大會（PCM）的程序委員會主席，2008亞洲信息檢索研討會（AIRS）聯合主席。馬維英博士曾經擔任過2005國際多媒體建模大會 （MMM） 、2005國際圖像和視頻檢索大會 （CIVR） 的聯合主席。另外，他還參與組織其他許多國際重要會議並擔任程序委員會成員，比如ACM Multimedia, SIGIR, CIKM, KDD, 和WWW等學術大會。迄今為止，馬維英博士已經在互聯網搜索、信息檢索、基於內容的圖像檢索、數據挖掘、自適應內容傳輸和移動訪問等領域發表了250餘篇論文。
馬維英博士於1990年本科畢業於台灣清華大學電氣工程系，之後於1994年和1997年分別獲得美國加州大學聖芭芭拉分校（UCSB）電氣和計算機工程系碩士和博士學位。
常務副院長 郭百寧博士
郭百寧博士現為微軟亞洲研究院副院長，主要從事網路圖形學技術、基於網路應用的虛擬環境技術、幾何模型、基於圖像的模型和繪制、紋理合成、真實感圖形圖像技術等領域的研究。
郭百寧博士是美國電氣電子工程師協會視覺及計算機圖形學會刊的副主編。他曾經擔任過國際程序委員會的委員，參加過多屆國際圖形學大會，包括美國計算機學會舉辦的國際計算機圖形學大會（ACM SIGGRAPH），美國電氣電子工程師協會舉辦的國際計算機可視化大會（IEEE Visualization），歐洲計算機繪制技術大會（Eurographics Symposium on Rendering），亞太計算機圖形學大會（Pacific Graphics），美國計算機學會舉辦的虛擬現實軟體與技術大會（ACM Symposium on Virtual Reality Software and Technology），美國計算機學會舉辦的固體與物理建模大會（ACM Symposium on Solid and Physical Modeling）。郭博士在國際著名雜志和學術會議上發表了七十多篇學術論文並擁有四十多項技術專利。
郭百寧博士於1999年加盟微軟中國研究院（亞洲研究院前身）。此前他是美國英特爾公司矽谷總部研究院的資深研究員，負責下一代圖形系統的研究。郭百寧博士在美國康乃爾大學獲得碩士和博士學位，在北京大學獲得學士學位。
常務副院長 趙峰博士
趙峰博士，微軟亞洲研究院常務副院長，主要負責機算機系統、無線與網路、硬體計算、軟體分析等領域的研究工作。
在加入微軟亞洲研究院之前，趙博士是微軟總部雷德蒙研究院的首席研究員，負責網路嵌入式計算組。他領導開發了微軟研究院感測器塵粒、微型網路服務、SenseWeb和SensorMap、數據中心基因組、焦耳計量器以及GAMPS數據壓縮。 藉助多項趙博士研發的技術，如今的微軟數據中心被譽為全球儀表化與監控最為密集的雲計算基礎架構。
趙博士是美國電機電子工程師學會院士(IEEE Fellow)，《美國計算機學會感測網路匯刊》(ACM Transactions on Sensor Networks)的創刊總編輯，並且撰寫或合作撰寫了超過100篇技術論文和書籍，其中包括摩根考夫曼出版的《無線感測器網路：信息處理方法》（與Leo Guibas合著）。趙博士獲得過許多獎項，其中包括美國斯隆研究獎(Sloan Research Fellow), 美國國家科學基金青年研究獎(US National Science Foundation (NSF) Young Investigator Award )與美國海軍研究局青年研究獎(Office of Naval Research (ONR) Young Investigator Award)。他的研究曾被BBC國際頻道，商業周刊及科技評論等著名新聞媒體報道。
趙博士畢業於上海交通大學，並在美國麻省理工學院(MIT) 獲得電機工程與計算機科學博士學位。在加入微軟之前趙博士曾在位於矽谷的施樂帕洛阿爾托研究中心(Xerox Palo Alto Research Center) 擔任首席科學家工作，領導該中心的感測器網路研究，並任教於美國俄亥俄州立大學和斯坦福大學。
技術戰略總監 張益肇博士
張益肇博士於1999年7月加盟微軟亞洲研究院，從事語音方面的研究工作。 現任微軟亞洲研究院資深技術戰略總監，負責研究項目溝通，知識產權資產管理，新的研究課題管理。履任微軟亞洲研究院新職位之前，張博士任微軟亞洲工程院副院長，是2003年工程院的創建者之一。在工程院，他帶領團隊開發Windows Mobile和Windows的產品，並建立起一支多學科技術產品孵化的團隊。在加入工程院之前，張博士曾擔任研究院語音組主任研究員和高校關系總監，他的團隊成功的把漢語普通話語音識別引擎轉化到了中文版Office和Windows中。
他曾是Nuance Communications公司研究部的創始人之一，該公司是電信領域自然語言界面研究的先驅。在Nuance工作期間，他曾從事自信度分析，聲學建模，語音檢測等領域的研究工作。他領導研究人員開發了 Nuance產品的日文版本，這是世界上第一個開放式日語語音識別系統。他還曾在麻省理工的林肯實驗室開發出了新的語音識別演算法，在東芝 ULSI 研究中心發明了一種新的電路優化技術，在通用電氣公司的研發中心開展了模式識別方面的研究。
張博士畢業於麻省理工學院，獲電氣工程和計算機科學學士、碩士和博士學位。他在國際著名的雜志和學術會議上發表了多篇關於語音技術和機器學習方面的論文，是多項專利的擁有者。
副院長 李世鵬博士
李世鵬博士於1999年5月加入微軟亞洲研究院，現任副院長、首席研究員及多媒體計算組主任研究員。李博士同時負責協調微軟亞洲研究院多媒體領域的研究工作。他的研究興趣為信號與圖像處理、媒體內容分析、圖像與視頻編碼、高清電視技術、多媒體在無線與網路上的通信與在線播放技術、可伸縮媒體編碼技術、應用層網路技術、數字版權管理、無線通信與網路、P2P網路技術、新媒體格式及系統、多媒體廣告技術、數字醫療及用戶意向挖掘等等。
從1996年10月至1999年5月，李博士在美國Sarnoff公司（前身為David Sarnoff研究中心及RCA實驗室）多媒體技術實驗室任研究員。李博士致力於廣泛的多媒體領域的研究工作。他對MPEG-4和H.264國際標准里圖像和視頻編碼技術作出重大貢獻。1998年他發明和研製了世界上第一個高質量低成本的高清電視解碼器。早在2000年他就在微軟亞洲研究院發起了P2P傳輸流媒體的研究工作。他帶領他的團隊在2001年率先成功地研發了橫跨太平洋的基於可伸縮視頻編碼的流媒體系統原型。他是可伸縮編碼的倡導者並對H.264/AVC國際標准里的可伸縮擴展標準的制定起了巨大的推進作用。他於2006年首先提出5「D」的多媒體2.0概念，對新一代互聯網多媒體的研究和發展指出了方向。他在圖象/視頻處理、壓縮和通信、數字電視、多媒體及無線通信領域寫作和合著超過200多篇國際學術論文，還擁有60多項被批準的和90多項正在被批準的相關美國專利。他合著了Marcel Dekker出版的專著《多媒體系統、標准和網路》（2000）、Wiley & Sons出版的《Wiley通信大網路全書》（2003）、Academic Press出版的《IP與無線網路中的多媒體》（2005）中的有關多媒體編碼的章節。他合編了SPIE出版的《視覺通信及圖像處理專刊》（2005）以及Springer出版的《計算機科學講座：多媒體信息處理進展》（2008）。
李博士是IEEE電路和系統協會視頻信號處理和通信委員會秘書長、多媒體系統與應用委員會會員，IEEE通信協會多媒體通信委員會委員，IEEE信號處理協會多媒體信號處理委員會歷任委員。他現任《IEEE視頻技術的電路與系統》期刊及《視頻通信和圖像表達》期刊的副主編。他擔任過IEEE PCM2000特殊程序主席、IEEE PCM2001會務主席、VCIP2005程序主席、Packet Video 2006大會主席、ICME 2006領域主席、IEEE ISM 2006宣傳主席、IEEE PSIVT 2006主題主席、IEEE SiPS 2007評獎主席、IEEE ICME 2007特殊程序主席、PCM 2008的程序主席、及ISCAS 2009領域主席。他還擔任著VCIP 2010和CIVR 2010的大會主席。李博士同時還在幾十個國際多媒體大會上擔任過技術委員會委員。
李博士是山東大學、四川大學、華中科技大學、上海交通大學、香港中文大學、南開大學和天津大學的客座教授，同時也是中國科學技術大學和上海交通大學的兼職博導。
李博士於1988和1991分別獲得中國科學技術大學無線電系學士和碩士學位。他於1996年獲得美國賓州Lehigh大學的電機系博士學位。他曾於1991至1992在中國科學技術大學無線電系任助教。
李博士是中國科學技術大學歷史上至今唯一的一個兩次（1987、1991）郭沫若獎學金的獲得者。他也是第一個同年獲得兩次Sarnoff成就獎的研究員 （1997）。李博士曾獲得VCIP 2007最佳論文獎、MMSP 2008最佳論文獎（海報）、以及《IEEE視頻技術的電路與系統》期刊（2009）最佳論文獎。他指導的學生獲得了VCIP 2005最佳學生論文獎。在微軟亞洲研究院的十年中，李博士培養了三位MIT TR35獎（世界上35歲以下的最有潛力的35位創新者）的獲得者。
副院長 張崢博士
張崢博士於2002年加入微軟亞洲研究院多媒體組，任項目負責人。張崢博士是微軟亞洲研究院副院長兼首席研究員，負責系統和網路研究領域（含系統研究組和無線和網路研究組）。張崢博士曾任多個國際會議技術委員會委員，包括IPTPS, ICDCS, WWW, USENIX MobiSys，USENIX ATC等。
張崢博士1984年就讀於復旦大學電子工程系；1987年作為復旦大學首批本科跳級的13名學生之一進入研究生課程；1990年赴美國德州大學達拉斯分校留學；1992年獲碩士學位後，於1993年春轉至伊利諾思香檳分校求學（UIUC），並於1996年秋獲得博士學位。 此後，張崢博士一直在惠普中央實驗室工作,其研究領域涉及高性能超級計算機系統結構和大規模分布式系統, 有多項成果在國際相關會議發表，取得專利，並成功轉移到產品中。
張崢博士也是網路雜志《新語絲》和 《 國風》的創辦人之一，以「竹人」為筆名主持編輯《海外留學生年度詩選》首二卷，並曾在 《國風》主持 《藝廊》及 《半瓶詩鋪》專欄。
副院長 宋羅蘭
宋羅蘭於1994年加入美國微軟任系統工程師，之後前往東京負責微軟在中國、日本、韓國、台灣、香港等國家及地區的商業應用系統開發，包括銷售、市場、客戶支持、人事以及行政。她成功管理過多個關鍵項目並積累了豐富的技術管理經驗。她建立了一個全新的亞洲區IT團隊：從招聘人才，制定戰略計劃，到管理幾百萬美金的運作資金。因為出色的工作，宋羅蘭被提升為高級地區IT經理，負責亞洲12個子公司的業務。
1999年宋羅蘭回到美國總部擔任高級項目經理，負責系統設計、開發、測試以及公司網站的後台主要系統運作支持。其後，她作為高級商務經理，開發全球技術社區，並與亞洲、歐洲、非洲、以及拉美的團隊一起將「MVP」（最有價值的專家）推廣到全球，使之成為全球技術社區最成功的項目之一。
經過19年的海外生活，宋羅蘭於2004年8月回到北京出任微軟亞洲研究院高校關系部總監，負責整個亞洲地區的高校關系。她以極大的熱情投入到新的工作中，並希望她的熱情與經驗能夠幫助年輕一代挖掘並能完全發揮他們的潛質。