微信截圖_17387464432402-1024x465.png)
docker build -t deepseek-janus-pro .docker run -p 8000:8000 deepseek-janus-pro通過上述步驟，你可以在本地運行 DeepSeek Janus Pro 的 Web 應用程序，并通過瀏覽器訪問 http://localhost:8000 來體驗其功能。
DeepSeek Janus Pro 在多模態(tài)理解任務中表現(xiàn)出色，能夠處理圖像、文本等多種輸入形式。以下是一個簡單的多模態(tài)理解示例：
import torch
from transformers import AutoModelForCausalLM
from janus.models import MultiModalityCausalLM, VLChatProcessor
from janus.utils.io import load_pil_images
# 加載模型和處理器
model_path = "deepseek-ai/Janus-1.3B"
vl_chat_processor = VLChatProcessor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer
vl_gpt = MultiModalityCausalLM.from_pretrained(model_path, trust_remote_code=True)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()
# 準備輸入
conversation = [
{
"role": "User",
"content": "<image_placeholder>\nConvert the formula into latex code.",
"images": ["images/equation.png"],
},
{"role": "Assistant", "content": ""},
]
pil_images = load_pil_images(conversation)
prepare_inputs = vl_chat_processor(conversations=conversation, images=pil_images, force_batchify=True).to(vl_gpt.device)
# 運行模型
inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)
outputs = vl_gpt.language_model.generate(
inputs_embeds=inputs_embeds,
attention_mask=prepare_inputs.attention_mask,
pad_token_id=tokenizer.eos_token_id,
bos_token_id=tokenizer.bos_token_id,
eos_token_id=tokenizer.eos_token_id,
max_new_tokens=512,
do_sample=False,
use_cache=True,
)
answer = tokenizer.decode(outputs[0].cpu().tolist(), skip_special_tokens=True)
print(f"{prepare_inputs['sft_format'][0]}", answer)DeepSeek Janus Pro 還支持強大的文本到圖像生成功能。以下是一個示例代碼：
import os
import PIL.Image
import torch
import numpy as np
from janus.models import MultiModalityCausalLM, VLChatProcessor
# 加載模型和處理器
model_path = "deepseek-ai/Janus-1.3B"
vl_chat_processor = VLChatProcessor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer
vl_gpt = MultiModalityCausalLM.from_pretrained(model_path, trust_remote_code=True)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()
# 準備輸入
conversation = [
{
"role": "User",
"content": "A stunning princess from kabul in red, white traditional clothing, blue eyes, brown hair",
},
{"role": "Assistant", "content": ""},
]
# 定義生成函數(shù)
@torch.inference_mode()
def generate(
mmgpt, vl_chat_processor, prompt, temperature=1, parallel_size=16, cfg_weight=5, image_token_num_per_image=576, img_size=384, patch_size=16
):
input_ids = vl_chat_processor.tokenizer.encode(prompt)
input_ids = torch.LongTensor(input_ids)
tokens = torch.zeros((parallel_size * 2, len(input_ids)), dtype=torch.int).cuda()
for i in range(parallel_size * 2):
tokens[i, :] = input_ids
if i % 2 != 0:
tokens[i, 1:-1] = vl_chat_processor.pad_id
inputs_embeds = mmgpt.language_model.get_input_embeddings()(tokens)
generated_tokens = torch.zeros((parallel_size, image_token_num_per_image), dtype=torch.int).cuda()
for i in range(image_token_num_per_image):
outputs = mmgpt.language_model.model(inputs_embeds=inputs_embeds, use_cache=True, past_key_values=outputs.past_key_values if i != 0 else None)
hidden_states = outputs.last_hidden_state
logits = mmgpt.gen_head(hidden_states[:, -1, :])
logit_cond = logits[0::2, :]
logit_uncond = logits[1::2, :]
logits = logit_uncond + cfg_weight * (logit_cond - logit_uncond)
probs = torch.softmax(logits / temperature, dim=-1)
next_token = torch.multinomial(probs, num_samples=1)
generated_tokens[:, i] = next_token.squeeze(dim=-1)
next_token = torch.cat([next_token.unsqueeze(dim=1), next_token.unsqueeze(dim=1)], dim=1).view(-1)
img_embeds = mmgpt.prepare_gen_img_embeds(next_token)
inputs_embeds = img_embeds.unsqueeze(dim=1)
dec = mmgpt.gen_vision_model.decode_code(generated_tokens.to(dtype=torch.int), shape=[parallel_size, 8, img_size // patch_size, img_size // patch_size])
dec = dec.to(torch.float32).cpu().numpy().transpose(0, 2, 3, 1)
dec = np.clip((dec + 1) / 2 * 255, 0, 255)
visual_img = np.zeros((parallel_size, img_size, img_size, 3), dtype=np.uint8)
visual_img[:, :, :] = dec
os.makedirs('generated_samples', exist_ok=True)
for i in range(parallel_size):
save_path = os.path.join('generated_samples', "img_{}.jpg".format(i))
PIL.Image.fromarray(visual_img[i]).save(save_path)
# 調(diào)用生成函數(shù)
generate(vl_gpt, vl_chat_processor, prompt="A stunning princess from kabul in red, white traditional clothing, blue eyes, brown hair")DeepSeek Janus Pro 的架構(gòu)設計允許開發(fā)者根據(jù)具體需求進行定制和擴展。無論是多模態(tài)理解還是生成任務，它都能提供強大的支持。此外，其開源特性使得社區(qū)可以共同推動模型的進一步發(fā)展。
通過解耦視覺編碼路徑，DeepSeek Janus Pro 在多模態(tài)任務中表現(xiàn)出色，能夠高效處理復雜的輸入數(shù)據(jù)。其優(yōu)化的 Transformer 架構(gòu)確保了模型在大規(guī)模數(shù)據(jù)上的高效訓練和推理。
DeepSeek Janus Pro 可以應用于多種場景，包括但不限于：
DeepSeek Janus Pro 是一個多模態(tài)理解與生成的強大工具，它通過創(chuàng)新的架構(gòu)設計和高效的實現(xiàn)方式，為開發(fā)者提供了強大的功能支持。通過本文的介紹，你可以在本地環(huán)境中快速部署和使用 DeepSeek Janus Pro，并探索其在多模態(tài)任務中的應用。無論是學術(shù)研究還是商業(yè)應用，DeepSeek Janus Pro 都是一個值得嘗試的選擇。
如果你對 DeepSeek Janus Pro 有任何疑問或需要進一步的幫助，可以通過 DeepSeek 官方網(wǎng)站 或 GitHub 項目頁面 獲取更多信息。