【環球網科技綜合報道】2月28日，記者獲悉，螞蟻集團推出20億參數多模態遙感基礎模型SkySense，這是螞蟻百靈大模型在多模態領域最新的研發成果，其論文已被世界計算機視覺頂會CVPR 2024接收。
SkySense由螞蟻AI創新研發部門NextEvo與武漢大學聯合研發。NextEvo是螞蟻AI核心技術研發團隊，主導了螞蟻百靈大模型的研發工作，其研發方向涉及CV、NLP、多模態、AIGC、數字人、AI工程化等核心技術。去年，該部門升級了多模態團隊，由楊銘帶隊全面佈局多模態技術。
從技術角度來看，傳統的遙感影像理解技術，往往側重於針對單一模態單一任務建模，缺乏對多模態數據、時間序列、地理先驗知識的綜合建模和利用，限制了其在海量數據和多種任務中的泛化能力。SkySense突破以上技術瓶頸，實現了文本、紅外光、可見光、SAR雷達多種模態、多分辨率的時序遙感影像建模，在多樣化的任務中展現出優異性能。
在螞蟻百靈大模型多模態能力支持下，研發人員基於內部構建的19億遙感影像數據集進行預訓練，得到了20.6億參數量的模型SkySense，這也是迄今爲止國際上參數規模最大、覆蓋任務最全、識別精度最高的多模態遙感大模型。SkySense可廣泛應用於城市規劃、森林保護、應急救災、綠色金融、農業監測等重要領域，目前通過螞蟻內部MEarth平臺提供數據與識別服務。
據瞭解，螞蟻集團正在計劃開放Skysense模型參數，與行業共建，促進智能遙感技術與應用發展。目前，螞蟻集團多模態研究成果已應用於支付寶五福節AI大規模互動、螞蟻醫療數字人等場景。
