8月9日 國仟生態圈

2024年第四場專題培訓活動順利舉辦

此次活動專題是

“AI大模型安全”

主辦單位：國仟醫療科技（蘇州）有限公司

國仟創業投資管理（蘇州）有限公司

本期特邀演講嘉賓：清華大學邱寒博士、董胤蓬博士

活動背景

近兩年來，隨著ChatGPT、Sora等人工智能模型的出現，社會各界對AI的關注度日趨高漲。無論是科研產業界，還是投融資界，都對人工智能在未來人類社會的應用充滿期待。其中醫療大健康領域的AI模型，有助于更快更準地解決臨床剛需，因此備受關注。然而由于醫療領域自身的特殊性，AI模型安全至關重要，也直接影響AI模型在醫療健康領域的落地。

活動回顧

針對模型安全在醫療健康領域人工智能產品中的重要意義，本次國仟生態圈主題培訓活動邀請到清華大學網絡研究院邱寒副教授和計算機科學與技術系董胤蓬博士，圍繞“AI大模型安全”主題進行分享。

邱教授演講的主題是“大語言模型內容安全研究”，通過實際的GPT模型案例深入淺出的介紹了大語言模型的發展歷史和基本原理、大模型對于有害內容的輸出管控、大模型幻覺對垂直領域應用的影響。在演講中，邱教授通過分析GPT訓練過程，解釋了大模型的局限性、偏見、不安全內容輸出的原因，認為數據驅動的本質會直接影響大模型的安全性。同時邱教授認為大語言模型的自回歸推理模式和模型幻覺有關，不同模型的幻覺或者人為干擾下的響應會有不同表現。減少生成式人工智能的幻覺，提高模型準確性，是大模型在垂直領域廣泛使用的主要挑戰，仍有較長的路要走。

董博士分享的主題是“面向擴散概率模型的安全可信研究”，董博士依靠扎實的理論功底，重點介紹了圖片生成領域的擴散模型基本概念和分類、擴散模型的魯棒性與安全性的判斷、模型生成圖片的安全性處理，和擴散模型對提高圖片生成與識別魯棒性的應用。董博士在演講中結合自己的科研經歷，分析了多種擴散模型的實際應用案例和數學方法，加深聽眾對生成式人工智能安全風險的理解。

分享過程中兩位專家和聽眾針對不同的大語言模型方法、物理概念與大模型的融合、醫療數據對大模型幻覺的影響、大模型未來趨勢、如何在模型訓練中設置提示詞等問題展開了熱烈討論。

當前人工智能沖擊著傳統產業界，新的范式對于產品定位、產品內容、產品研發都有巨大影響。大模型的應用是醫療企業面臨的新機遇與新挑戰。期待本次交流碰撞出的火花能夠給各位企業家朋友帶來思考，助力公司在人工智能時代創新發展！

關于國仟

國仟醫療科技（蘇州）有限公司由張旭博士等七名在生物醫學和醫療器械領域成功創新創業的國家重大人才工程專家聯合其他領域股東共同投資設立。

國仟醫療致力于醫療器械創新科技產業投資、創業孵化及精準賦能。全資控股的國仟創業投資管理(蘇州)有限公司，是一家專注醫療器械早期股權投資的風險投資機構。本著“成就他人夢想”的經營理念，國仟創投通過所管理的股權投資基金來進行產業投資和聚集，國仟醫療通過孵化和賦能打造產業生態，兩大業務平臺高度協同，在蘇州高新區打造一個高端醫療器械產業聚集群和生態圈。