Activities
【導(dǎo)讀】2024年6月2日，由中國自動化學(xué)會、北京市科學(xué)技術(shù)協(xié)會主辦的2024國家新質(zhì)生產(chǎn)力與智能產(chǎn)業(yè)發(fā)展會議在北京友誼賓館舉辦。本次會議以“追新逐質(zhì)，智創(chuàng)未來”為主題，邀請了10位院士及百余位長江杰青、高校和科研院所的校長、院長等學(xué)術(shù)精英與會，500余名來自學(xué)術(shù)界和產(chǎn)業(yè)界的本領(lǐng)域?qū)＜摇W(xué)者、學(xué)生等參會。
本次大會特別設(shè)立八大平行會議，在“具身智能平行會議”上，邀請同濟(jì)大學(xué)史淼晶教授作題為“大模型驅(qū)動的文本引導(dǎo)式視覺場景感知”的專題報告，報告介紹了大模型的興起和他所在的課題組在大模型驅(qū)動的文本引導(dǎo)式視覺場景感知方面的探索，包括文本指引的物體檢測、場景分割、場景圖檢測等。
一、大模型的興起
在深度學(xué)習(xí)領(lǐng)域，Attention機制自2017年提出以來已經(jīng)成為大家熟知的重要技術(shù)，其代表性論文是《Attention is All You Need》，這一研究不僅重塑了傳統(tǒng)基于卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)，還直接推動了大語言模型的發(fā)展。
大語言模型的發(fā)展大致可以分為兩個階段。第一個階段以BERT為代表。BERT采用了“掩碼語言模型”（Masked Language Model，MLM）的優(yōu)化方式。具體而言，給定一段文本，將其中某個詞去掉，然后通過基于Attention機制的語言模型預(yù)測該詞。這種方式類似于完形填空，即模型既能看到前面的詞，也能看到后面的詞，從而預(yù)測中間的詞。
第二個階段是從GPT的誕生開始。GPT采用了一種不同的優(yōu)化方式，稱為“下一個詞預(yù)測”（Next Token Prediction）。在這種方式下，模型在預(yù)測下一個詞時只能看到前面的話，而看不到后續(xù)的詞。BERT的Attention機制是雙向交互的，即前后的詞都能看到；而GPT的Attention機制只能看到歷史信息，無法看到未來的詞，這種改進(jìn)使得GPT的性能得到了顯著提升。
GPT除了訓(xùn)練機制的變化外，還引入了“人類反饋”（Human Feedback），這一點尤為重要。在傳統(tǒng)的監(jiān)督學(xué)習(xí)之后，通過獎勵模型對比GPT生成的語言對話，并由人工標(biāo)注實際的“真值”（Ground Truths）來評估生成內(nèi)容的質(zhì)量并進(jìn)行排序。排序后的數(shù)據(jù)用于強化學(xué)習(xí)，使模型在與人的互動中不斷更新能力。然而，在實際使用過程中，GPT并不會在每次與用戶的互動中更新模型，它會在一個會話內(nèi)增長知識，但會話結(jié)束后這些知識一般不會保留。
近年來，涌現(xiàn)了許多的多模態(tài)大模型。多模態(tài)大模型將圖像和文本結(jié)合，代表性方法包括Flamingo、BLIP、LAVA和InstructBLIP。這些工作關(guān)注的關(guān)鍵點在于如何讓語言信息與視覺信息進(jìn)行交互。早期的交互通過對齊（Alignment）實現(xiàn)，即將視覺和相應(yīng)的語言描述在空間距離上盡可能接近。后來，BLIP等方法引入了生成式概念，即通過圖像輔助生成語言信息。
基于大語言模型的多模態(tài)模型還催生了許多文本引導(dǎo)式的方法，其中包括上下文學(xué)習(xí)（In-Context Learning）、思維鏈（Chain-of-Thought）以及檢索增強（Retrieval-Augmented）。上下文學(xué)習(xí)類似于元學(xué)習(xí)（Meta Learning），即在訓(xùn)練后提供一些樣例，讓模型快速進(jìn)行推理；思維鏈設(shè)計通過引導(dǎo)模型逐步解決復(fù)雜問題，先給出解題思路，再得出答案；而檢索增強則是通過生成相關(guān)問題來提高模型能力。文本引導(dǎo)式的方法促進(jìn)了具身智能的感知和視覺感知，成為了當(dāng)前研究的重要方向。
二、大模型驅(qū)動的文本引導(dǎo)式感知：手術(shù)器械分割
在腔鏡手術(shù)中，手術(shù)器械分割是一項至關(guān)重要的任務(wù)。腔鏡環(huán)境下的視覺感知極其受限，無論是光照還是視野范圍都存在諸多挑戰(zhàn)。手術(shù)器械之間的分辨率較低，容易混淆，而且器械之間經(jīng)常會有遮擋現(xiàn)象。這些問題使得器械分割變得更加困難。傳統(tǒng)方法通常基于視覺模型，例如U-Net來進(jìn)行分割。為了提升分割效果，我們引入了文本信息，即通過文本信息的輔助來改善分割結(jié)果。
手術(shù)器械分割方法的整體框架分為三個部分：文本特征提取、圖像特征提取及其交互處理，最終輸出分割結(jié)果。我們使用編碼器對文本和圖像進(jìn)行特征提取。完成特征提取后，使用基于Attention的交互和基于卷積的特征交互方法。其中，Attention機制適用于全局交互，即一個特征與所有特征之間的交互。而卷積機制適用于局部交互，通過生成卷積核W和B，在圖像特征上滑動，實現(xiàn)局部特征交互。全局與局部交互的結(jié)合，能夠更好地處理手術(shù)器械分割任務(wù)。
研究初期，借鑒了CLIP模型的思想，我們嘗試引入文本信息，通過醫(yī)生對手術(shù)器械的描述輸入網(wǎng)絡(luò)，效果得到了顯著提升。隨后，利用GPT生成手術(shù)器械的類別描述，將手工描述、模板描述和GPT生成的描述結(jié)合，通過門控網(wǎng)絡(luò)加權(quán)求和，得到了優(yōu)化的分割結(jié)果。
為解決手術(shù)器械遮擋問題，我們引入了重建輔助分支。在預(yù)測分割掩碼的同時，提取難以預(yù)測的區(qū)域，通過重建提高分割的魯棒性。這些過程共享同一個主干網(wǎng)絡(luò)，從而增強特征學(xué)習(xí)的魯棒性。
實驗結(jié)果表明，在醫(yī)學(xué)領(lǐng)域首次引入文本信息，可以顯著提升分割效果，與SAM模型相比也有明顯優(yōu)勢。通過交叉驗證實驗，在A數(shù)據(jù)集訓(xùn)練、B數(shù)據(jù)集測試的情況下，即使類別不完全一致，加入文本信息后，結(jié)果依然大幅提高，甚至超過了單純視覺方法的全監(jiān)督效果。
我們的研究工作表明，文本信息在手術(shù)器械分割中具有重要作用，通過多種方法的結(jié)合，可以顯著提升分割性能。
三、大模型驅(qū)動的文本引導(dǎo)式感知：特定物體分割
在一張圖像中分割出特定物體，或在視頻中跟蹤特定顏色的物體，采用基于文本指代的分割方法如何實現(xiàn)上述構(gòu)想是課題主要研究內(nèi)容。在研究這一問題時，我們首先考察現(xiàn)有的方法，發(fā)現(xiàn)這些方法仍舊存在一些問題。特定物體的指代式分割往往傾向于文本指代的后半部分信息。例如，在一個描述為“一個穿白色衣服的人在行走”的文本指代中，模型可能更關(guān)注“行走”這一動作，而忽略了具體的描述對象。這導(dǎo)致模型錯誤地將穿西裝的人分割出來，而不是穿白色衣服的人。
基于這一觀察，我們提出了新的方法。除了給出原始的指代文本外，我們還提取出描述對象及其形容詞的信息，并行進(jìn)行分割，然后讓它們進(jìn)行交互，提取出分割需要的信息。具體是從指代文本中提取出主語及其形容詞描述信息，然后將這些信息一起輸入模型進(jìn)行預(yù)測。實驗發(fā)現(xiàn)，較短的描述應(yīng)該包含較長描述的分割結(jié)果。例如，描述為“穿藍(lán)色衣服的跑步運動員”時，預(yù)測結(jié)果應(yīng)包含“領(lǐng)跑的藍(lán)衣運動員”的分割結(jié)果。我們將這種包含關(guān)系作為約束，加入到模型優(yōu)化中，以提升預(yù)測精度。此外，還引入了光流信息。在視頻中，當(dāng)物體運動時，通過前向光流和反向光流，可以將預(yù)測的物體在不同幀之間映射到某一幀上，確保這些幀的預(yù)測結(jié)果與標(biāo)注物體重疊。
最終結(jié)果表明，這種方法與其他方法相比分割效果大幅提升，并且可以嵌入任何現(xiàn)有方法中。
四、大模型驅(qū)動的文本引導(dǎo)式感知：全景場景圖檢測
對于全景場景圖檢測，我們同樣采用文本指代的方法。全景場景圖生成或檢測是一項復(fù)合任務(wù)，包括全景分割和關(guān)系檢測。給定一張圖像，首先對其進(jìn)行全景分割，將圖像中的所有物體和背景進(jìn)行分割，然后預(yù)測和檢測任意兩個物體之間的關(guān)系。最終結(jié)果是一個圖形結(jié)構(gòu)，表示物體節(jié)點及其之間的關(guān)系，這對于場景理解非常重要。
傳統(tǒng)方法主要基于視覺模型，存在長尾問題。長尾問題指的是某些關(guān)系的出現(xiàn)頻率非常高（如“跑步”、“工作”），而另一些關(guān)系（如“接吻”、“蕩秋千”）則較為罕見，這使得模型更傾向于高頻關(guān)系，忽略低頻關(guān)系。
為解決這一問題，我們引入了語言信息來輔助視覺預(yù)測。通過提取與視覺場景相關(guān)的語言描述信息，可以幫助模型更準(zhǔn)確地預(yù)測關(guān)系。例如，描述“人清潔大象”的語言信息包括“人可以使用水管或水桶清潔大象，位置通常在大象旁邊或背上”。這些信息可以顯著幫助視覺預(yù)測。
全景場景圖檢測方法的框架包括三個步驟：文本提取、視覺提取和交互。首先，使用全景分割器進(jìn)行視覺提取，生成任意兩個物體之間的相對關(guān)系特征。然后，通過大模型的思維鏈設(shè)計，進(jìn)行文本特征提取。最后，讓大模型扮演兩種角色：關(guān)系提議提示和關(guān)系判斷提示。
關(guān)系提議提示是告訴大模型兩種物體（如人和自行車）之間可能存在的關(guān)系，大模型會返回可能的關(guān)系（如“騎自行車”、“走在旁邊”）。關(guān)系判斷提示是給定一種關(guān)系（如“人站在自行車旁邊”），大模型會判斷其是否存在，并提供解釋。
有了這些信息后，便可以將文本信息與視覺信息進(jìn)行交互。在完成視覺分割后，將分割結(jié)果輸入大模型，讓其生成關(guān)系提議，并提取這些關(guān)系的文本特征。這些文本特征與視覺特征進(jìn)行相似度計算，如果兩者相似度高，則說明文本描述的信息與當(dāng)前視覺場景中物體之間的關(guān)系一致。
全景場景圖檢測方法模型交互過程不僅計算了相似度，還設(shè)計了兩種解碼器和匈牙利算法進(jìn)行結(jié)果優(yōu)化。最終，該方法在場景圖檢測任務(wù)中性能取得了顯著提升，這也是首次將大模型應(yīng)用于此任務(wù)的工作。
五、總結(jié)與展望
我們從大語言模型中提取了有意義的文本信息，并將其應(yīng)用于多項研究工作中。這些研究有的完全不依賴特定領(lǐng)域微調(diào)，而是可以直接進(jìn)行推理。在算力有限的情況下，使用預(yù)訓(xùn)練的大模型仍能有效解決許多下游任務(wù)，包括單模態(tài)的視覺任務(wù)和多模態(tài)任務(wù)。未來，在大模型的賦能下，具身智能的感知能力將會得到顯著提升。
（本文根據(jù)作者所作報告速記整理而成）
