除夕，DeepSeek發布全新多模態模型Janus-Pro，新年暴擊OpenAI！

這也許是DeepSeek送給我們所有人的新年禮物。

繼通用模型DeepSeek-V3和推理模型DeepSeek-R1后，DeepSeek還在輸出。

1月28日，大年二十九，除夕夜，DeepSeek繼續“放大招”，發布并開源了Janus-Pro系列多模態模型，其中的Janus-Pro-7B直接對標OpenAI的DALL·E 3和Stable Diffusion，并在多項基準測試中實現碾壓式超越!《黑神話：悟空》制作人馮驥直呼DeepSeek為“國運級科技成果”。

Janus-Pro最最厲害的地方，是它既能理解多模態類型的輸入，又能文生圖。同時兼顧這兩個特性且保持高性能，至今沒有其他模型能做到。舉個例子，強如GPT-4o也只能理解圖片(多模態能力)，沒法直接生成圖片;OpenAI有專門執行“文生圖”的模型，叫DALL·E 3.而Janus-Pro則是把多模態和文生圖融合到了一起。

那么，Janus-Pro是怎么做到這一點的?Janus-Pro延續了前代模型Janus的架構理念，通過將視覺編碼解耦成“理解編碼器”和“生成編碼器”，分別處理多模態理解(Multimodal Understanding)和圖片生成(Text-to-Image Generation)任務。這種解耦方式的好處是避免了單一編碼器在兩種任務間的沖突，以便同時滿足多模態理解和文生圖的需求。

在此基礎上，Janus-Pro采用自回歸Transformer(Auto-Regressive Transformer)作為統一處理框架，將圖像特征和文本特征整合為一維序列，投喂給模型進行處理。

除夕夜發布的Janus-Pro系列共有2個模型：Janus-Pro-1B和Janus-Pro-7B。下面是這兩個模型在多模態理解和圖片生成方面，與其他旗艦模型的基準測試對比。

可以看到，針對多模態理解(左圖)，這兩個模型在相同或更小的參數規模下，碾壓式超越了所有競爭對手。

而針對文生圖能力(右圖)，Janus-Pro-7B也超越了所有主流擴散模型(如DALL·E 3、Stable Diffusion)。

接下來我們實測一下Janus-Pro-7B的真正實力。

Janus-Pro-7B體驗地址

Janus-Pro-7B體驗地址：https://huggingface.co/spaces/DeepSeek-AI/Janus-Pro-7B

Janus GitHub倉庫地址：https://github.com/deepseek-ai/Janus

Multimodal Understanding 功能實測

DeepSeek官方給的這張示例圖“怪”生動形象的。

Janus-Pro-7B的回答出乎意料的“驚艷”!

這張圖片通過對比兩種視覺編碼方式，以幽默的方式展示了它們的差異。

左側的圖像標題為“Decoupling Visual Encoding”，旁邊是一只肌肉發達的柴犬，象征著強大的視覺編碼能力。這表明，這種編碼方式能夠有效地處理和理解視覺信息，并且具有強大的處理能力。

右側的圖像標題為“Single Visual Encoder”，旁邊是一只看起來有些疲憊和沮喪的柴犬，象征著較弱的視覺編碼能力。這表明，這種編碼方式可能無法有效地處理和理解視覺信息，或者在處理視覺信息時遇到了困難。

總體而言，這張圖片通過對比兩種視覺編碼方式，幽默地展示了它們在處理視覺信息時的差異。

Text-to-Image Generation 功能實測

提示詞：A cute and adorable baby fox with big brown eyes, autumn leaves in the background enchanting,immortal,fluffy, shiny mane,Petals,fairyism,unreal engine 5 and Octane Render,highly detailed, photorealistic, cinematic, natural colors.

附上由Janus-Pro-7B生成的這張圖片，效果不錯。

插一句。

1月28日，DeepSeek依舊持續遭到大規模網絡攻擊，據稱是“國家級”網絡攻擊。目前雖然DeepSeek網頁端能夠正常訪問(https://chat.deepseek.com/)，但其開發者平臺頁面已無法打開，顯示“維護中，將盡快恢復服務”。

據官媒“玉淵譚天”向奇安信安全專家了解到的消息，DeepSeek這次受到的網絡攻擊，攻擊形式多樣，包括DDoS和暴力破解，且攻擊者IP地址都來自美國。

本文鏈接：http://www.756gnhl.cn/post/1817.html ,轉載需注明文章鏈接來源：http://www.756gnhl.cn/

• 喜歡（10）
• 不喜歡（1）

本文鏈接：http://www.756gnhl.cn/post/1817.html