日前，由搜狗搜索聯合中國中文信息學會(CIPS)共同舉辦的“CIPS-SOGOU問答比賽”正式啟動報名。作為國內首檔基于大規模真實用戶問答數據集的問答評測任務，此次大賽的舉辦，不僅能為參賽者提供挑戰及展示能力的舞臺，還將促進學術界及業界在智能問答領域的研究發展，推動智能問答系統更加廣泛地面向公眾提供信息服務。
此次問答比賽分為事實型問答和非事實型問答兩項子任務。按照賽制，參賽者需要根據給定的問題設計算法，從候選篇章中抽取合適的詞語、短語或句子，作為問題的標準答案，能夠實現正確、完整、簡潔地回答問題。每個問題對應給出10個候選答案篇章，每個篇章約50 - 500個漢字。
在評測指標方面，事實型問答子任務將采用Accuracy和Precision-Recall(F1)指標對預測答案進行評價，其中Accuracy計算預測答案和標準答案是否精確匹配，F1計算預測答案相對標準答案的詞級重合度，以兩者平均值作為最終指標。非事實型問答子任務采用ROUGE和BLEU指標對預測答案進行綜合評價。
據悉，此次比賽的事實型問答子任務，將從9月1日起開始提交報名，有興趣參賽的高校生、業內研究人員等，可通過“搜狗實驗室”官網提交報名信息。非事實型問答子任務，則將在12月中旬開始接受提交報名，并陸續公布比賽數據集和Leaderboard。在2018年CIPS的學術年會上，將會對兩項子任務中勝出的團隊進行頒獎。
值得一提的是，作為聯合主辦方的搜狗搜索，將向大賽提供來自搜索引擎的大規模真實用戶問答數據集。其中，6萬個問題(事實型問題3萬、非事實型問題3萬)，代表了最真實廣泛的網民信息需求;60萬對應問題的候選篇章，來自搜索引擎返回的若干互聯網頁面;而經過對頁面進行人工分析標注，搜狗搜索構建了針對問題的標準答案，最終形成大規模、極具價值的問答數據集。
據了解，目前在智能問答研究領域，可用的大規模公開數據集，尤其是反映真實用戶問答需求的中文數據集非常稀缺。業界和學術界受限于技術、數據等因素，當前的研究主要針對“事實型問答”領域，而在與用戶搜索場景息息相關的“開放域智能問答”領域則一直無法取得突破性進展。搜狗搜索此次公開的大規模數據集，不僅能促進“CIPS-SOGOU問答比賽”的正常開展，還能將給整個智能問答行業的研究發展提供寶貴的數據支撐，從而推動智能問答系統更加廣泛地面向公眾提供信息服務。
事實上，憑借在人工智能領域的持續投入及搜索引擎的數據優勢，搜狗搜索目前在智能問答領域已處于行業領先地位。搜狗搜索此前已上線的“立知”智能問答系統，就是搜狗研發的面向未來的搜索技術。該系統能夠理解用戶搜索意圖和問題，直接為用戶提供想要的答案。目前“立知”智能問答系統不僅能精準回答事實性問題，在分析類問題、觀點類問題、數字類問題、隱式問題等方面，都能直接返回精確答案，背后應用了語義分析、問題理解、信息抽取、知識圖譜、信息檢索、深度學習等眾多人工智能技術。
作為智能問答領域的引領者，搜狗搜索在切實推進產品落地、為用戶帶來優質搜索體驗的同時，也注重向行業開放問答能力，不斷推動業界及學術界的研究發展。今年4月份，搜狗搜索曾聯合CCIR 2017(2017全國信息檢索學術會議)成功舉辦了國內首次大規模真實用戶問答數據集上的問答評測任務——首屆“面向智能問答的篇章排序”評測比賽，并公開了來自用戶真實搜索需求的5萬個問題以及從搜狗搜索全網檢索結果提供的50萬條候選篇章，極大促進了智能問答技術的發展和應用。
相比“面向智能問答的篇章排序”評測比賽，此次“CIPS-SOGOU問答比賽”的賽制、公開數據集等都將進行全新升級，將會在更大程度上促進智能問答領域的學術交流和研究水平。對此次問答評測比賽感興趣的高校生或業內從業者，均可報名參加。
報名鏈接：http://huodong.sogou.com/cips-sogou_qa/
推薦閱讀
搜狗搜索聯合清華大學榮獲NTCIR13-STC2評測比賽總排名第一
近日，第十三屆NTCIR評測比賽正式公布了短文本對話任務(以下簡稱STC2)的比賽結果。搜狗搜索聯合清華大學計算機系組成的SG01戰隊，第一次參加這一開放領域對話方面的重>>>詳細閱讀
本文標題：搜狗搜索聯合中國中文信息學會，共同發起“CIPS-SOGOU問答比賽”
地址：http://www.geekbao.cn/a/05/304319.html
網友點評
精彩導讀
科技快報
品牌展示