以2022年GPT3.5發(fā)布為節(jié)點(diǎn),AGI技術(shù)開(kāi)始了一路狂奔,各種充滿想象力的技術(shù)概念和實(shí)現(xiàn)方案不斷涌現(xiàn),RAG(Retrieval-Augmented Generation,檢索增強(qiáng)生成)成為了現(xiàn)有大模型生態(tài)中極為關(guān)鍵的一項(xiàng)技術(shù)。
通過(guò)將預(yù)先訓(xùn)練的 LLM 與可隨時(shí)獲取的信息檢索系統(tǒng)相結(jié)合,RAG能夠提供更精確和上下文相關(guān)的響應(yīng),使得 LLM 或基礎(chǔ)模型能夠根據(jù)盡可能避免幻覺(jué)從而生成更符合預(yù)期的內(nèi)容。
在整個(gè)RAG系統(tǒng)中,數(shù)據(jù)庫(kù)扮演著重要角色,無(wú)論是用來(lái)承載原始數(shù)據(jù)的數(shù)據(jù)庫(kù)還是承載向量化功能的向量數(shù)據(jù)庫(kù),其性能與運(yùn)維情況直接決定了RAG系統(tǒng)的效率。
對(duì)于企業(yè)而言,如果想要實(shí)現(xiàn)本地化的RAG系統(tǒng)構(gòu)建,并在此基礎(chǔ)上滿足更多的業(yè)務(wù)需求。數(shù)據(jù)庫(kù)管理是必須要走好的第一步?;贙ubernetes云原生技術(shù)打造的沃趣QFusion數(shù)據(jù)庫(kù)私有云RDS,可以幫助用戶輕松高效的完成集群部署、備份、擴(kuò)容等工作,為企業(yè)RAG系統(tǒng)提供堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。
目前企業(yè)在部署RAG系統(tǒng)時(shí),往往會(huì)將Ragflow或者Dify這類開(kāi)源成熟的項(xiàng)目作為第一選擇。但便利性的背后是高可用、集群化等企業(yè)級(jí)特性的缺失。
以Dify為例,其在本地部署時(shí),默認(rèn)使用的是「build in」模式的Weaviate,用戶需要手動(dòng)配置相關(guān)參數(shù),且可配置參數(shù)也相對(duì)較少。
在Dify中配置向量數(shù)據(jù)庫(kù)
用戶雖然可以選擇調(diào)整更換不同的數(shù)據(jù)庫(kù),但仍然挑戰(zhàn)重重:
RAG系統(tǒng)本身不提供數(shù)據(jù)庫(kù)的部署和管理能力,企業(yè)需要自行解決數(shù)據(jù)庫(kù)的高可用、備份恢復(fù)等問(wèn)題。
當(dāng)企業(yè)需要同時(shí)使用多種數(shù)據(jù)庫(kù)時(shí)(如關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)元數(shù)據(jù),向量數(shù)據(jù)庫(kù)存儲(chǔ)嵌入向量),無(wú)法通過(guò)單一平臺(tái)進(jìn)行統(tǒng)一管理。
隨著知識(shí)庫(kù)規(guī)模擴(kuò)大,向量檢索性能可能下降,但RAG系統(tǒng)不提供數(shù)據(jù)庫(kù)層面的性能監(jiān)控和資源擴(kuò)展能力。
相比之下,QFusion提供了全面的數(shù)據(jù)安全與高可用性保障:
全鏈路備份:支持物理備份(如塊級(jí)增量備份)與邏輯備份(如Schema導(dǎo)出),冷/熱備份靈活切換,確保向量索引與原始數(shù)據(jù)一致性。
秒級(jí)恢復(fù)與容災(zāi):基于WAL日志和歸檔模式,實(shí)現(xiàn)PITR(時(shí)間點(diǎn)恢復(fù)),精準(zhǔn)回滾誤操作或數(shù)據(jù)損壞場(chǎng)景;多副本架構(gòu)支持跨區(qū)域容災(zāi),結(jié)合歸檔日志實(shí)時(shí)同步,RTO(恢復(fù)時(shí)間目標(biāo))可控制在分鐘級(jí)。
合規(guī)審計(jì)追蹤:備份操作日志與數(shù)據(jù)庫(kù)審計(jì)日志聯(lián)動(dòng),滿足數(shù)據(jù)留存與可追溯性要求。
當(dāng)用戶想用將自己的向量數(shù)據(jù)庫(kù)部署到RAG系統(tǒng)中時(shí),又會(huì)遇到哪些問(wèn)題呢?
以PostgreSQL為例,如果企業(yè)不使用QFusion,部署RAG系統(tǒng)時(shí),僅數(shù)據(jù)庫(kù)這一單一流程就繁瑣且耗時(shí)。
但在QFusion管控下,企業(yè)可輕松部署pgvector插件,借助pgvector插件,PostgreSQL可成為RAG系統(tǒng)的高效向量存儲(chǔ)引擎,下面是在QFusion管控下的典型應(yīng)用流程:
QFusion顯著簡(jiǎn)化了數(shù)據(jù)庫(kù)的部署、監(jiān)控、優(yōu)化與維護(hù)流程,特別適合需要同時(shí)使用多種數(shù)據(jù)庫(kù)技術(shù)的RAG系統(tǒng),同時(shí)為企業(yè)在RAG數(shù)據(jù)庫(kù)管理層面帶來(lái)更多可能:
動(dòng)態(tài)擴(kuò)縮容:分布式架構(gòu)下支持在線擴(kuò)容存儲(chǔ)節(jié)點(diǎn)(如elasticsearch動(dòng)態(tài)分片),存儲(chǔ)容量與計(jì)算資源解耦,按需橫向擴(kuò)展;
混合負(fù)載隔離:通過(guò)讀寫分離和資源組配置,隔離備份任務(wù)與在線查詢的I/O競(jìng)爭(zhēng),保障業(yè)務(wù)連續(xù)性;
備份策略自動(dòng)化:內(nèi)置策略引擎支持全量/增量/差異備份周期配置,自動(dòng)清理過(guò)期備份文件,根據(jù)業(yè)務(wù)負(fù)載預(yù)測(cè)自動(dòng)觸發(fā)擴(kuò)容或備份任務(wù);
自服務(wù)能力:企業(yè)用戶可按需創(chuàng)建、管理數(shù)據(jù)庫(kù)實(shí)例,無(wú)需依賴人工運(yùn)維,提高數(shù)據(jù)庫(kù)管理效率。
我們可以用一個(gè)簡(jiǎn)單的demo來(lái)觀察基于PostgreSQL的RAG系統(tǒng)是如何實(shí)現(xiàn)向量化的。我們采用 Ollama 提供的 `nomic-embed-text` 模型,將文本數(shù)據(jù)進(jìn)行嵌入(embedding)處理,并存儲(chǔ)至 PostgresSQL 數(shù)據(jù)庫(kù)中。通過(guò) Python 代碼,我們自動(dòng)化解析 Word 文檔,抽取關(guān)鍵內(nèi)容,轉(zhuǎn)換為向量并存儲(chǔ),確保數(shù)據(jù)處理的高效性和準(zhǔn)確性。
在構(gòu)建本地RAG的過(guò)程中,我們還實(shí)現(xiàn)了基于 PostgresSQL 向量搜索的高效查詢功能。當(dāng)用戶提出問(wèn)題時(shí),系統(tǒng)會(huì)生成對(duì)應(yīng)的語(yǔ)義向量,并在數(shù)據(jù)庫(kù)中執(zhí)行相似性搜索,檢索最相關(guān)的內(nèi)容,并以上下文的形式傳遞給本地部署的DeepSeek-R1模型,回答用戶的問(wèn)題。
在進(jìn)行上述demo的搭建后,我們可以用一個(gè)簡(jiǎn)單的問(wèn)題來(lái)實(shí)驗(yàn)下效果,當(dāng)我們輸入「QFusion平臺(tái)有什么特性」后,系統(tǒng)在思考后返回了如下內(nèi)容:
上述demo只是一個(gè)很簡(jiǎn)單的示例,演示如何基于沃趣QFusion實(shí)現(xiàn)用自有向量數(shù)據(jù)庫(kù)構(gòu)建企業(yè)私有化RAG系統(tǒng)。當(dāng)然,除了PostgreSQL外,企業(yè)還可以選擇其他向量數(shù)據(jù)庫(kù)來(lái)構(gòu)建RAG系統(tǒng)。
QFusion不僅解決了PostgreSQL向量數(shù)據(jù)庫(kù)的管理挑戰(zhàn),其基于K8s的架構(gòu)同樣適用于管理其他類型的數(shù)據(jù)庫(kù),包括Elasticsearch、OceanBase、MongoDB等。這種統(tǒng)一管控能力為企業(yè)提供了更大的技術(shù)選擇靈活性。
隨著AGI技術(shù)不斷向前,RAG已經(jīng)成為了越來(lái)越多企業(yè)將業(yè)務(wù)與大模型結(jié)合的利器,在這樣的背景下,底層數(shù)據(jù)庫(kù)的管理與優(yōu)化已成為關(guān)鍵挑戰(zhàn)。
沃趣QFusion數(shù)據(jù)庫(kù)私有云RDS作為基于K8s架構(gòu)的統(tǒng)一數(shù)據(jù)庫(kù)管控平臺(tái),通過(guò)對(duì)20+數(shù)據(jù)庫(kù)的深度管控能力支持,無(wú)論企業(yè)選擇何種數(shù)據(jù)庫(kù)技術(shù)路線,QFusion都能提供一致的自服務(wù)能力、彈性擴(kuò)展和高可用保障,幫助企業(yè)快速構(gòu)建高性能、可靠的大模型數(shù)據(jù)庫(kù)基礎(chǔ)設(shè)施。
服務(wù)電話: 400-678-1800 (周??周五 09:00-18:00)
商務(wù)合作: 0571-87770835
市場(chǎng)反饋: marketing@woqutech.com
地址: 杭州市濱江區(qū)濱安路1190號(hào)智匯中?A座1101室