智譜清言

智譜清言是北京智普華章科技有限公司推出的首款生成式人工智能助手，于2023年8月31日正式上線。助手基于知乎AI自主研發的中英雙語對話模型ChatGLM2，經過萬億字符的文本和代碼預訓練，采用監督微調技術，以通用對話的形式為用戶提供智能服務。智普清言可以為用戶解答工作、學習和日常生活中的各種問題，完成各種任務。它具有通用問答、多輪對話、創意寫作、代碼生成和虛擬對話等豐富能力，并計劃在未來開放多模態生成。截至2023年8月，智譜清言已在各大應用商店上線，包括Apple Store應用商店和Android主流商店。

智譜清言的發展史始于2021年，始于ChatGLM系列車型的迭代。起初，該系列基于GLM-130B模型，該模型致力于提高中英雙語對話處理的準確性和效率。隨著ChatGLM系列的發展，特別是ChatGLM2系列的推出和優化，加強了智能光譜澄清的技術基礎。2023年8月31日，《直撲青眼》正式發布。作為基于ChatGLM2模型的AI助手，它結合了預訓練和監督微調技術，可提供包括問答、創意寫作和代碼生成在內的多項智能服務。此外，ChatGLM3于2023年10月在中國計算機大會（CNCC）上發布，帶來了進一步的技術增強、應用范圍擴大和性能提高。ChatGLM3的多模態理解、代碼生成和執行以及增強的網絡搜索功能使其能夠更高效地處理多樣化的任務和場景。

智普清言作為一款根植于ChatGLM2模型核心技術的AI助手，憑借其先進的性能、良好的上下文處理能力和快速的推理速度，在MMLU、C-Eval和GSM8K等多個標準任務上贏得了廣泛關注。尤其是在ChatGLM3引入AgentTuning技術后，為知乎清言提供了更深層次的智能規劃和執行能力，在多輪對話和內容創作等領域取得了顯著進展。這主要體現在下載量和GitHub明星數量的快速增長上。此外，得益于其實際應用潛力和適應性的驗證，包括聯想、中國民航信息網絡公司、清華大學等在內的多家企事業單位均采用了其或與其建立了合作關系。

智譜的技術發展是一個不斷迭代和創新的過程。主要過程可以概括為GLM-130B的初步探索，ChatGLM系列型號的不斷迭代，以及基于ChatGLM2和ChatGLM3的智能光譜的后期開發。因此，智普清研的發展源于智普AI大模型在各個階段的技術進步。

GLM-130B發布:技術突破

GLM-130B模型的開發始于2021年12月，是在清華大學知識工程實驗室舉行的內部頭腦風暴會議上提出的。當時的目標是開發高精度的雙語（中文/英文）模型并將其開放。在項目啟動之初，缺乏計算資源，但在2022年1月，智普AI提供了必要的計算資源支持。隨后，項目團隊在技術開發中遇到了許多挑戰，包括頻繁的硬件故障、模型梯度爆炸、算法中內存使用過多等等。在清華大學PACMAN團隊的協助下，這些問題被一一解決，最終成功訓練出GLM-130B模型。

ChatGLM首次亮相:對話模式的新時代

ChatGLM于2023年3月14日首次發布，這是智普AI在GLM-130B模型基礎上的進一步創新。作為中英雙語對話模型，ChatGLM專注于提高對話處理能力。智普AI已經開放了GLM系列模型的新成員-Chatglm-6B，該模型支持在單個消費級顯卡上進行推理。這是繼GLM-130B千億基模型開源后的又一重要研究成果。ChatGLM-6B是一個開源的雙語問答對話語言模型，針對中文進行了優化。該模型基于通用語言模型（GLM）架構，擁有62億個參數。在對約1T個標識符進行中英文雙語訓練后，輔以監督微調、反饋自助和人類反饋強化學習等技術，ChatGLM-6B雖然規模不及千億模型，但大大降低了推理成本，提高了效率，可以生成符合人類偏好的答案。

ChatGLM2發布:技術的進一步發展

ChatGLM2-6B于2023年6月25日推出，這是智普AI與清華大學KEG實驗室在對話AI領域的合作成果。作為ChatGLM-6B的后續版本，ChatGLM2-6B在繼承前代車型特點的基礎上進行了一系列技術更新和優化。其中包括模型性能的提升、上下文處理能力的擴展和推理速度的優化。此外，為了推動AI技術的發展，智普AI及其合作伙伴已經完全開放了ChatGLM2-6B模型的權重用于學術研究和商業用途。

知識界很清楚:生成式人工智能的新助手

智普清言的研發標志著智普AI在生成式人工智能助手領域的巨大進步。該產品于2023年8月31日正式上線，基于智普AI研發的中英雙語對話模型ChatGLM2。通過預訓練和監督微調技術，智普清言已經成為一個可以在各種場景下提供支持的智能助手。它為用戶提供了一個多功能的AI助手，可以在日常生活、學習和工作中提供幫助。

ChatGLM3版本:基于ChatGLM2的模型升級

在2023年中國計算機大會（CNCC）上，智譜AI推出的ChatGLM3為智譜青巖提供了強大的技術支持，大大拓寬了其應用范圍和性能。ChatGLM3的多模態理解能力、代碼生成和執行功能以及網絡搜索增強功能使Zhipu articulate在處理復雜任務和多樣化場景時更加高效。特別是ChatGLM3的AgentTuning技術賦予了知乎青巖更深入的智能規劃和執行能力，從而在多輪對話和內容創作方面實現了質的飛躍。此外，通過ChatGLM3的新技術，智普清言不僅提高了對話的流暢性和準確性，而且在圖像處理和數學計算等多樣化應用中也表現出了出色的性能，大大改善了用戶體驗。

作為知乎AI的先進AI語言處理工具，知乎清言背后的技術力量來自ChatGLM3等大模型的加持。ChatGLM系列模型不僅在自然語言處理領域取得了顯著進展，而且在多模態理解和代碼生成方面也表現出了卓越的能力。這種能力的背后，離不開一項核心技術的支撐——變壓器模型。Transformer模型獨特的架構和自關注機制為ChatGLM2的高級功能提供了理論基礎和技術框架。

Transformer模型

Transformer模型是自然語言處理領域的核心技術，最早出現在2017年的論文《Attention Is All You Need》中。它采用自我關注機制，允許模型同時關注文本序列的所有部分，而不是逐個單元地處理它們。該方法優于傳統的遞歸神經網絡（RNN）和長期記憶網絡（LSTM），特別是在處理長文本和捕獲長距離依賴方面。Transformer的并行處理能力提高了效率，解決了梯度消失的問題。其編碼器-解碼器結構使其適用于許多復雜的語言處理任務，如機器翻譯和問答系統。

ChatGLM2與Transformer的關系

在ChatGLM2的開發過程中，Transformer模型的基礎設施得到了有效的應用和關鍵的擴展，旨在滿足復雜多模態任務和代碼生成的需求。在這一開發過程中，ChatGLM2不僅保持了Transformer的高效并行處理和強上下文理解等核心優勢，還對模型結構和訓練方法進行了適當的創新和調整。這些改進和技術集成使ChatGLM3在語言處理和多模態內容理解方面表現出出色的性能，并為智譜和清晰語音等應用提供了可靠的技術支持。

一般問答

智譜在文本生成和創意寫作方面具有很強的能力。它使用基于深度學習的大規模預訓練模型。知識圖譜可以生成多樣化的內容，包括廣告文案、故事、博客文章等。，同時適應用戶的特定要求和風格偏好。其由深度學習驅動的創作過程使其能夠理解和模仿不同的寫作風格，并進行主題研究和情感分析，從而提高內容的相關性和吸引力。此外，知乎青巖還提供協同增強和創意輔助功能，幫助用戶做出創意決策和優化內容，并預測內容的市場反應，在許多行業中得到廣泛應用，尤其是在需要快速生產高質量內容的情況下。

問答系統

2023年6月，智普清言的多輪對話能力經歷了一次重大升級。智普AI將其千億級模型ChatGLM升級到第二代，性能大幅提升。其中一個關鍵改進是上下文理解長度的擴展，現在可以處理長達32K字符的對話上下文，推理速度也有了顯著提高。此次升級讓知乎青巖在多輪對話中展現出更強大的性能，不僅可以理解和回應長文本對話，還擁有廣泛的知識儲備，涵蓋科技、歷史、文化、藝術和商業等多個領域的信息。

編程輔助工具

智普清研的代碼生成和編程輔助功能是其重要特點之一。它是一個能夠理解用戶需求的智能助手，可以在許多方面為用戶提供有用的幫助，包括但不限于工作、學習、日常生活和編程幫助。具體來說，智普清研的代碼生成能力使其能夠支持100多種編程語言，可以更快更準確地生成代碼。該功能對于程序員來說非常方便，可以有效提高編程的效率和準確性。

多模態交互

智普清言在多模態交互方面的顯著進步和創新得益于其背后的最新技術，尤其是智普AI研發的第三代基礎模型ChatGLM3。它實現了許多新功能，包括具有多模態理解能力的CogVLM（基于圖片的語義識別）。此外，其代碼增強模塊Code Interpreter可以根據用戶的需求生成和執行代碼，并自動完成數據分析和文件處理等復雜任務。WebGLM是網絡搜索的增強功能，使直撲青巖能夠在互聯網上找到最新信息，并在回答時提供相關信息的鏈接。同時支持包括工具調用、代碼執行、游戲、數據庫操作、知識圖譜搜索與推理、操作系統等多種復雜場景。它使智普清研成為國內首個具備代碼交互能力的大規模模型產品，支持圖像處理、數學計算、數據分析等多個應用場景。

智普清研使用的核心模型ChatGLM2是一個基于通用語言模型（GLM）的雙語對話語言模型，擁有62億個參數。該模型的訓練涉及一系列先進的技術和策略，以提高其中英文處理性能和對話生成的自然度。同時，智普清研使用的核心型號ChatGLM2是基于ChatGLM-6B的進化版本，而ChatGLM-6B本身是基于GLM-130B型號開發的。

GLM-130B:基本框架

GLM-130B采用多種訓練技術，包括大規模語料庫預訓練、分布式訓練、混合精度訓練和優化器選擇，以提高訓練效率和性能。該模型基于Transformer架構，具有雙語處理能力，可以處理多種任務。其獨特的技術特點包括豐富的語言知識積累、雙語編碼、高效的訓練和推理性能以及靈活的適應性。

ChatGLM-6B:對話優化

ChatGLM-6B是基于GLM-130B的大規模語言模型，旨在提高文本生成和對話的質量。該模型結合了監督微調、反饋自助和人類反饋強化學習等多種訓練技術，使其能夠更好地理解和響應用戶的需求，尤其是在對話和問答方面。在架構上，ChatGLM-6B采用了高效的Transformer架構，該架構優化了并行處理和長距離依賴捕獲，使其適用于復雜的語言理解和生成任務。此外，它在性能和通用性方面也非常出色:文本生成速度與GPT-3相當，GPU內存效率更高，因此可以部署在小型GPU上。ChatGLM-6B可以通過大規模文本和代碼訓練執行語言翻譯和創意內容生成等多項任務，并在GLUE benchmark測試中表現出了先進的性能。為了提高部署效率，該模型還通過INT8和INT4進行了量化，降低了對計算資源的需求，使其成為一個多功能、高效且易于部署的大規模語言模型。

ChatGLM2:性能和效率的進一步提高

ChatGLM2-6B是基于ChatGLM-6B的進化版本，繼承了GLM-130B的核心架構。它是一個專門為對話系統設計的中英雙語對話語言模型，擁有62億個參數，這使得ChatGLM2-6B在處理復雜語言模式和對話結構方面具有非凡的能力。

訓練技術：ChatGLM2模型使用GLM的混合目標函數進行預訓練。該方法結合了自回歸和自編碼的優點，有助于模型更好地理解和生成自然語言。此外，該模型已經使用1.4T雙語標識符進行了預訓練，這種大規模的雙語數據訓練使該模型在中英文處理中都表現良好。為了進一步優化模型的對話生成能力，ChatGLM2還采用了人類反饋強化學習，使其生成的對話更符合人類的偏好和期望。

模型架構：ChatGLM2-6B是基于ChatGLM-6B的進化版本，繼承了GLM-130B的核心架構。它是一個專門為對話系統設計的雙語對話語言模型。它擁有62億個參數，這使得ChatGLM2-6B在處理復雜的語言模式和對話結構方面非常強大。

技術特征：ChatGLM2-6B基于GLM混合目標函數和1.4T中英文識別器的預訓練，在多個基準測試中模型性能得到顯著提升。為了確保長對話的連續性，ChatGLM2-6B使用FlashAttention技術將上下文處理能力從2K擴展到32K。此外，通過引入多查詢注意力技術，其推理效率提升了42%，并且在INT4量化的支持下，該模型支持的對話長度在6G顯存下從1K提升至8K。與原始模型相比，ChatGLM2-6B在多個基準測試上的性能提升更加明顯，在MMLU、CEval、GSM8K、BBH等數據集上的性能提升分別為+23%、+33%、+571%和+60%。

ChatGLM3:基于ChatGLM2的重新升級

ChatGLM3是智普AI推出的第三代基座型號，針對GPT-4V，實現了部分新功能的迭代升級。該模型結合了獨創的多階段增強預訓練方法、更豐富多樣的訓練數據和更優化的訓練方案。這些集成技術使ChatGLM3在基礎架構方面更加先進和強大。

智譜清言

訓練技術：通過深度優化，ChatGLM3的訓練采用多階段增強方法，保證訓練的充分性和深度。在44個中英文公開數據集的評測中，該模型在各項性能指標上均有顯著提升。與ChatGLM II模型相比，MMLU、CEval、GSM8K和BBH分別提高了36%、33%、179%和126%。

模型架構：在原有架構的基礎上，ChatGLM3實現了多項技術升級。這些升級包括但不限于多模態理解、代碼增強模塊和網絡搜索增強功能。這些新增加的技術功能不僅增強了模型的語義理解能力，還增強了其邏輯處理能力，這使得ChatGLM3在多樣化的應用場景中表現出比上一代模型更高的效率。

技術特征：ChatGLM3的技術特點主要體現在三個方面:其多模態理解能力CogVLM可以實現對圖像等多種信息的深度解讀，不僅可以回答各種類型的視覺問題，還可以完成復雜目標的檢測和標注，或自動數據標注；在代碼解釋器的幫助下，ChatGLM3具有代碼生成和執行的能力。該功能可以根據用戶的需求自動生成并執行代碼，可用于完成數據分析和文件處理等復雜任務。最后，Web search enhanced WebGLM可以使模型充分利用網絡資源，從而提供更準確和合適的答案。這些功能的集成提高了ChatGLM3處理多個復雜任務的語義和邏輯能力。ChatGLM3集成了智普AI自主研發的AgentTuning技術，激活了模型的agent功能，特別是在智能規劃和執行方面，比ChatGLM2提升了1000%。此外，它還支持國內大型模型的原生功能，如工具調用、代碼執行、游戲、數據庫操作、知識圖譜搜索和推理、操作系統等復雜場景。