數(shù)學優(yōu)化被國家自然科學基金劃重點!國產(chǎn)求解器規(guī)?;涞靥崴?/h2>
近日,《國家自然科學基金“十四五”發(fā)展規(guī)劃》正式公布規(guī)劃全文,問題驅(qū)動的應用數(shù)學前沿理論與方法被列入重點發(fā)展領(lǐng)域,覆蓋“不確定性量化,數(shù)據(jù)科學和人工智能中的優(yōu)化模型、算法設(shè)計與分析,組合優(yōu)化、整數(shù)規(guī)劃及隨機優(yōu)化,風險資產(chǎn)和金融風險的建模、模擬與分析,約束最優(yōu)控制問題,工業(yè)設(shè)計制造中的核心數(shù)學方法,腦網(wǎng)絡(luò)與生物建模分析中的關(guān)鍵數(shù)學問題”等多個研究方向。
從上述研究內(nèi)容中,我們可以提煉出幾個關(guān)鍵詞:模型、優(yōu)化和算法,這是用數(shù)學優(yōu)化的方法解決復雜現(xiàn)實問題的幾個核心點。其中,求解器作為底層計算“引擎”,是解決復雜數(shù)學優(yōu)化問題的必備工具。國家自然科學基金的規(guī)劃和指向,一方面強調(diào)了算法、求解器等數(shù)學優(yōu)化技術(shù)應用的重要性,另一方面也說明我國在這個領(lǐng)域還有很大的創(chuàng)新和發(fā)展空間。

求解器最初的出現(xiàn),是源于二戰(zhàn)中艦隊調(diào)度、后勤保障等問題,其在商業(yè)場景的應用,國外已經(jīng)有三十多年的歷史。國產(chǎn)求解器雖然起步較晚,但近幾年蓬勃發(fā)展。在求解性能上,以COPT為代表的國產(chǎn)求解器的多項求解性能已超越歐美國家,在應用層面,也已經(jīng)在基礎(chǔ)設(shè)施、工業(yè)制造、零售消費等多個領(lǐng)域開展應用。但是,如何讓求解器以更高的效率走向產(chǎn)業(yè),如何以最快的速度激發(fā)數(shù)字經(jīng)濟的價值,對于我們來說,仍然是一項重大的課題。
數(shù)字經(jīng)濟大河奔涌之下,國產(chǎn)求解器發(fā)展的契機和壁壘
過去很長一段時間,國內(nèi)沒有人研究求解器,一些企業(yè)和機構(gòu)在遇到大規(guī)模復雜計算問題時,只能選購歐美國家的求解器。商業(yè)求解器三大廠GUROBI、CPLEX與 XPRESS 憑借先發(fā)優(yōu)勢,豐富的商業(yè)開發(fā)經(jīng)驗,以及較好的性能,占據(jù)了國際大部分市場份額。
此前,我們的數(shù)字化程度還不夠高,數(shù)字化場景也不夠多,求解器的價值沒有被看到,求解器處于無人問津的“冷門地帶”。近些年,我國數(shù)字經(jīng)濟大河奔涌,數(shù)據(jù)越來越多元,數(shù)據(jù)量越來越大,求解器成為各種復雜問題背后的不可或缺的計算引擎,發(fā)展國產(chǎn)求解器已經(jīng)成為一種必需。
意識到這個問題的,有杉數(shù)科技這樣的創(chuàng)業(yè)型公司,也有華為、阿里等大廠,但是,國外三十多年的發(fā)展經(jīng)驗,要如何追趕?雖然國內(nèi)企業(yè)很早就開始運用國外求解器,但因為求解器就如同“黑匣子”一樣,無法看到其內(nèi)部運算方式,國產(chǎn)求解器的研發(fā)只能從零開始。
從技術(shù)上看,數(shù)學規(guī)劃求解器的數(shù)學理論和方法在公開資料上都能找到,但是要通過這些方法和理論打造出一套底層技術(shù)工具,研發(fā)壁壘卻非常高。這需要將一個高度復雜的數(shù)學系統(tǒng),以百萬行級別的代碼工程化地實現(xiàn)出來,技術(shù)難度大,研發(fā)周期長,對研發(fā)者的數(shù)學和編程能力都是很大的挑戰(zhàn),這種人才很稀缺,有經(jīng)驗的人才更稀缺。
從應用上看,雖然我們將求解器比作巨型“計算器”,但是使用求解器,必須要先把業(yè)務(wù)問題轉(zhuǎn)化成求解器可以讀懂的語言,這個抽象化的過程不是靠想象得來的,研發(fā)者必須深入業(yè)務(wù)場景,用嚴密的邏輯對業(yè)務(wù)進行梳理和建模。這一方面需要企業(yè)有一定的數(shù)據(jù)基礎(chǔ),另一方面也要求研發(fā)者懂得業(yè)務(wù)語言,只有不斷地在各種場景中嘗試、踩坑和迭代,最后才能研發(fā)出符合市場需求的求解器。
面對橫亙在求解器領(lǐng)域的幾道高墻,我們必須一個個推倒,才能夠看到隱藏在后面的無限價值。很多問題,從無到有往往是最難跨越的一步。由四位斯坦福博士創(chuàng)立的杉數(shù)科技,在運籌學、商學、決策分析等領(lǐng)域擁有深厚背景,這也促使其成為最早研究國產(chǎn)求解器的公司。
求解器領(lǐng)域的中國隊,正在打一場技術(shù)突圍戰(zhàn)
2017年,杉數(shù)科技聯(lián)合上海財經(jīng)大學共同推出了開源求解器LEAVES,國產(chǎn)求解器由此發(fā)端。2019年5月,杉數(shù)科技獨立研發(fā)的商業(yè)求解器COPT正式上市,剛問世的COPT1.0版本,在線性規(guī)劃單純形法性能上就達到世界一流水平,打響了國產(chǎn)商用求解器的第一聲“驚雷”。
隨后,杉數(shù)科技陸續(xù)發(fā)布了商業(yè)混合整數(shù)規(guī)劃求解器、商業(yè)線性規(guī)劃內(nèi)點法求解器、商業(yè)二階錐規(guī)劃求解器、凸二次(約束)規(guī)劃求解器、半定規(guī)劃求解器,再到今年10月份6.0版本發(fā)布混合整數(shù)二階錐規(guī)劃MISOCP求解器以及混合整數(shù)凸二次(約束)規(guī)劃MIQ(C)P求解器,杉數(shù)科技用四年時間填補了國產(chǎn)求解器的諸多空白。
在此期間,中科院、華為、阿里都在大力開發(fā)求解器,在求解器這個賽道,我們看到了越來越多的中國身影。而國產(chǎn)求解器隊列中,求解器COPT是迭代最快的。從1.0到6.0版本,求解模塊不斷擴展,求解器性能連續(xù)攀升,同時,也結(jié)合實踐反饋進行了FeasRelax功能
、參數(shù)自動調(diào)優(yōu)等多方面輔助實際應用的功能升級,為企業(yè)解決高性能求解問題提供了更多國產(chǎn)化的選擇。
在求解方式上,COPT求解器的線性規(guī)劃求解模塊實現(xiàn)了對偶單純形法與內(nèi)點法(包括Crossover),整數(shù)規(guī)劃求解模塊實現(xiàn)了以分支切割算法(Branch-and-Cut)為核心的求解方法,二階錐規(guī)劃求解模塊基于齊次自對偶模型,實現(xiàn)了帶預測校正的原始-對偶內(nèi)點法,這些模塊均可以利用多核處理器進行并行計算。另外,半定規(guī)劃求解模塊,針對不同的半定規(guī)劃結(jié)構(gòu),實現(xiàn)了原始-對偶、對偶內(nèi)點法及交替方向乘子法,求解時會根據(jù)問題結(jié)構(gòu)選擇其中效率最高的一種。從求解速度來看,在美國ASU測評榜上,COPT求解器的大部分求解模塊的求解性能都已比肩甚至超越國際先進求解器。
目前COPT求解器提供個人許可、集群許可和浮動許可服務(wù),可滿足高校、科研機構(gòu)和企業(yè)的多元化求解需求。求解規(guī)模上,COPT能支持億量級問題的高效求解。針對特殊場景需求,COPT還能進行定制化開發(fā)和增強,有效擴展了技術(shù)與場景的融合邊界。
精耕深作,推進求解器國產(chǎn)化替代
縱觀國產(chǎn)求解器的發(fā)展歷程,其出現(xiàn)有賴于數(shù)字經(jīng)濟的發(fā)展,同時它也將成為推動數(shù)字經(jīng)濟的新引擎。精益管理時代,無論是城市基礎(chǔ)設(shè)施運營,還是企業(yè)生產(chǎn)管理,都需要借助海量數(shù)據(jù)驅(qū)動做出科學決策,企業(yè)對求解器的需求日趨強烈。經(jīng)過短短幾年的發(fā)展,國產(chǎn)求解器已經(jīng)逐漸走進基礎(chǔ)設(shè)施、工業(yè)制造、零售消費等多個領(lǐng)域,成為眾多企業(yè)和機構(gòu)實現(xiàn)智能決策的有力支撐。其中,COPT求解器以強大的求解性能,吸引了眾多用戶的青睞。從COPT求解器的應用地圖中,我們基本可以窺見國產(chǎn)求解器的應用現(xiàn)狀。
在使用COPT求解器的用戶中,有很大一部分企業(yè)和機構(gòu),都在用國產(chǎn)求解器替代之前使用的國外求解器,比如,依托國家電網(wǎng)科技項目,杉數(shù)科技與中國電力科學研究院開展合作,研究基于國產(chǎn)優(yōu)化引擎的電力系統(tǒng)經(jīng)濟調(diào)度問題,推動電力系統(tǒng)安全約束經(jīng)濟調(diào)度優(yōu)化引擎國產(chǎn)化,打破了長期以來主流電力系統(tǒng)優(yōu)化引擎及分析技術(shù)的“卡脖子”問題。同時,也有很多企業(yè)在推進數(shù)字化建設(shè)的過程中,開始使用求解器技術(shù)來解決很多人工以及常規(guī)數(shù)字化系統(tǒng)無法解決的問題。
和簡單引入求解器不同的是,杉數(shù)科技提供的不僅僅是求解器工具,而是以問題為出發(fā)點、以效果為導向,幫助企業(yè)和機構(gòu)建立基于求解器的智能決策優(yōu)化系統(tǒng)。在國際局勢動蕩和疫情影響之下,各行各業(yè)都在倡導優(yōu)化,優(yōu)化效率,優(yōu)化成本,優(yōu)化質(zhì)量等等,比如,成百上千個加工廠和生產(chǎn)線,如何安排生產(chǎn)才能使成本更低效率更高?一輛輛飛馳而過的地鐵是如何保障運行時間穩(wěn)定和車輛可用率的?遍布全國的零售店如何分貨配貨才能以更低的成本滿足訂單需求?
每個行業(yè)都有每個行業(yè)的問題,數(shù)學抽象建模是求解器優(yōu)化求解的第一步,只有深入場景內(nèi)部,建立科學合理的模型,引入求解器才能發(fā)揮更大意義。在推進求解器應用之初,國內(nèi)沒有經(jīng)驗可循,沒有標準可參考,只能一個問題一個問題的去克服。到今天,COPT求解器已經(jīng)被應用于各領(lǐng)域的百余家標桿企業(yè)和機構(gòu),優(yōu)化效果顯著。天上飛的,地上跑的,以及豐富多元的工業(yè)和商業(yè)場景背后,都能看到國產(chǎn)求解器的身影。
例如,航天領(lǐng)域中的飛行器軌跡優(yōu)化問題是一類最優(yōu)控制問題,技術(shù)難度較高,利用COPT求解器可以實現(xiàn)最優(yōu)最快的軌跡優(yōu)化求解。通過將國產(chǎn)求解器與飛行器所載求解硬件進行整合,并融合進高效、可靠的定制化軌跡優(yōu)化求解算法,可實現(xiàn)飛行器在不依賴外部規(guī)劃和控制的情況下,保證最優(yōu)的實時軌跡控制并精準到達目標。
在軌道交通領(lǐng)域,針對乘務(wù)排班、運行圖編制、列車檢修等優(yōu)化問題,COPT求解器也表現(xiàn)出較好的優(yōu)化求解效果。例如,為了解決乘務(wù)排班效率低、不均衡等問題,某地鐵運營公司綜合考慮出勤時間、退勤人數(shù)、里程工時、站點換乘等排班約束,構(gòu)建智能乘務(wù)排班模型,使用COPT進行求解,有效降低了正線值乘人數(shù),提升了乘務(wù)員的滿意度。
在能源電力領(lǐng)域,COPT求解器可廣泛用于無功調(diào)度優(yōu)化、電力市場定價,電力市場出清等典型能源電力優(yōu)化場景。例如,在南方區(qū)域電力市場建設(shè)過程中,杉數(shù)科技協(xié)力南方電網(wǎng)打造了電力市場出清引擎,綜合考慮交直流迭代、梯級水電等復雜約束特點,設(shè)計出清計算差異化算法,對電力現(xiàn)貨市場原出清模型進行深度定制化改造,顯著提升了現(xiàn)貨市場出清計算效率,實現(xiàn)機組出力分配最優(yōu)化,促進電力現(xiàn)貨交易的供需平衡,有效降低了平均發(fā)電成本,提升了整體運營效率和效益。
在工業(yè)生產(chǎn)中,對于涉及上百個工廠、數(shù)萬生產(chǎn)零件的排產(chǎn)排程、物料籌措等問題,COPT求解器同樣是優(yōu)化利器。例如,某ICT巨頭針對數(shù)百個工廠,構(gòu)建多工廠協(xié)調(diào)排產(chǎn)引擎,綜合考慮多工廠的差異化屬性、物料約束、產(chǎn)能約束等,達成多工廠多產(chǎn)線智能協(xié)同生產(chǎn),利用排產(chǎn)模型和求解器快速計算和決策,實現(xiàn)天及周維度的多周期生產(chǎn)排程計劃最優(yōu),最終將訂單滿足率提高20%、產(chǎn)能損失率降低30%,靈活高效地滿足了客戶需求。
從建模、求解到?jīng)Q策優(yōu)化,不同場景的求解思路是一致的,但每個場景都蘊含了非同一般的技術(shù)高度和業(yè)務(wù)精度,場景的差異化以及建模難度使其很難快速普及。而隨著國產(chǎn)求解器走進更多領(lǐng)域,領(lǐng)先企業(yè)沉淀下來的經(jīng)驗正在突破這道高墻,比如,針對不同行業(yè)的場景,構(gòu)建多種基礎(chǔ)模型庫,形成標準化的優(yōu)化求解方案,不同企業(yè)在解決同類問題時,根據(jù)差異化需求進行定制化調(diào)整,可以極大降低企業(yè)使用運籌優(yōu)化技術(shù)的難度。
產(chǎn)學研用聯(lián)動發(fā)展,為大規(guī)模產(chǎn)業(yè)化落地鋪路
雖然求解器迎來了發(fā)展的大時代,目前我們也只看到了冰山一角,對于體量龐大的數(shù)字經(jīng)濟而言,求解器未來的應用空間還很大。而要擴大求解器的產(chǎn)業(yè)寬度,我們還有很長的路要走,這有賴于各方參與者的共同努力。
除了在各個商用領(lǐng)域加速推進國產(chǎn)求解器落地,杉數(shù)科技等領(lǐng)先企業(yè)也在借助多方資源和力量,推動產(chǎn)學研用聯(lián)動發(fā)展。比如,為了強化求解器的理論和實踐教育,杉數(shù)科技聯(lián)合名校師資力量和行業(yè)專家打造了運籌與智能決策教學平臺--CORIDM,平臺集課程、案例、實踐為一體,為高校師生、科研人員及企業(yè)用戶搭建運籌優(yōu)化與智能決策技術(shù)學習、交流和應用的橋梁,致力于將求解器研發(fā)及應用方面的成功經(jīng)驗向更大范圍普及。
應用層面,2022年《工業(yè)智能決策白皮書》的誕生,為求解器在工業(yè)場景的應用帶來了系統(tǒng)的指引。白皮書對以求解器為核心的智能決策技術(shù)的理論和落地方法論進行了全面闡述,打開了求解器與工業(yè)制造各場景連通的密碼,也將為求解器在更多場景的應用提供參考。
對于數(shù)學優(yōu)化這道迷人的數(shù)學題,在實驗室里潛心研究非常重要,但只有讓其在各個產(chǎn)業(yè)落地開花,才能釋放出技術(shù)的終極價值。而杉數(shù)科技所做的,就是本著創(chuàng)業(yè)者的初心,向上,不斷探索技術(shù)高峰,融合機器學習等人工智能技術(shù)推進求解器持續(xù)升級;向下,持續(xù)感知企業(yè)和機構(gòu)的切實需求,讓求解器真正走進產(chǎn)業(yè)改革的最深處。
其實,不止求解器技術(shù)如此,整個應用數(shù)學的發(fā)展都需要更多新力量來突破邊界、下沉場景和規(guī)模推進,才能跨越技術(shù)和應用的“達爾文之海”。數(shù)字經(jīng)濟背景之下,以問題驅(qū)動的應用數(shù)學越來越重要,數(shù)學優(yōu)化之光正在照進千行百業(yè),國產(chǎn)求解器的大規(guī)模產(chǎn)業(yè)化落地不遠了。