是的,Ollama 中已有适合视频处理的模型,主要分为两类:视频理解模型(用于分析已有视频)和视频生成模型(用于根据文本生成视频)。以下是基于公开资料整理的关键信息:
; ^$ }# G" I5 m5 B z3 s
0 S3 K' L- ]: s7 K; D一、适合视频理解的模型
) @5 j( d" m: \9 |2 K; B/ s3 l- [' Z这些模型可对视频内容进行分析、问答、关键片段提取等任务:
l9 u' E/ U/ ?
! O3 x, z n2 N$ ?6 p, q$ XQwen2.5-VL-7B-Instruct# V" |0 p% n7 ?( d/ M
- m0 Y. A! ]% {/ _支持视频理解,能识别时序逻辑、定位事件时间点(如“第25分30秒讲解了核心功能三”)0 g: w$ N# @2 m
1。; Q- n) s7 h4 u0 Z% S
可通过 Ollama 部署,支持图片与视频输入3 z" M% {6 U! J( n
1。
: E A; e. k( IMiniCPM-V 2.62 Q) U, Q! z8 o
+ d2 O7 P8 o( l' a W& y) ^4 A' `3 E! z
支持多图像和视频理解,性能接近 GPT-4V 级别
8 Y# C+ d# s6 D; }) W$ n3 \9 L3。
W/ ~& c @! p0 l: f: j7 t需 Ollama 升级至 v3.10(当前最新版为 v3.10)! g3 z4 o1 Q2 y6 D! W
3。
/ @. U. x' V0 v0 t; w( j2 B' a在手机端也能运行,适合轻量级视频分析4 N1 |4 K* G- r A6 w7 y
3。
0 j& a1 G4 i9 [. |/ T8 bVideoLLaMA3(7B / 2B 版本)1 S7 X; P7 y3 ]& v
+ \ _% U) e4 d- ~: R4 ?, q
达摩院开源,擅长通用视频理解、时间推理和长视频分析
z% b3 f: E Y+ x7 d7 C1 q10。
; } v9 M; j4 j V7 q8 J8 b以图像为中心设计,仅用 3M 视频数据即可达到 SOTA 性能
0 V5 S% Y1 y# s) `# }* V10。* p' {% x# X; W! u' ^5 Q
二、适合视频生成的模型
1 H& h- k5 |2 g2 ]6 j7 X1 @这些模型可根据文本提示生成短视频:6 T$ B% w5 Y$ l& v2 M+ g1 a. \9 ]1 W
8 w/ Q/ _ f6 ~3 l9 e) UZeroscope_v2( l4 u, g; N+ d9 M z
: A, z/ _# z+ s! Y, J9 L参数仅 1.7B,符合“4B以内”要求,最低需 8GB 显存3 V& N+ x3 p' e( O$ J/ a5 k+ A- i
4$ M$ a' n4 x2 e" }. m# X* A
5。" J9 o/ v0 `6 G+ }4 K% S- @& C+ y) ]
可生成 576×320 分辨率、30fps、3–5秒 的短视频9 E9 ]$ x% Y0 W" u6 l: M( k& n
4。
% `0 _0 m9 P' { X开源免费,适合社交媒体预演等轻量场景
% h. J7 [' ~% e4 w, {6 S4。
' X% Q% B! D _) t. U1 QWan2.2
- v5 h9 \3 F& J' e; T& }! Z7 b1 o# f7 D2 M! i8 p4 d) v0 o+ O
通义万相开源,50亿参数,支持 480P 视频生成,具备良好时序连贯性7 r$ Y6 T+ j1 v0 ~! u
8。
' b" h. \; ?- |6 l虽略超 4B,但生成质量较高,适合对画质有要求的场景7 e8 }; d& s% t3 c8 l, I) @: T$ k
8。
; C% M3 r$ m$ \( G# @3 mLCM-LoRA + AnimateDiff(组合方案)
9 e9 x4 }# _5 s. u7 _' C; V4 d' l7 v/ c: V; D+ Y% v
LCM-LoRA 用于加速文生图,结合 AnimateDiff 可实现文生视频
' @" m# Y. `, T) s$ F' S4
1 o" L" P I: S# U8 N& r5。4 f' B1 Q& c X# X( a2 P# g
单图生成仅需 0.8秒(RTX 3060),适合快速迭代
0 W+ I6 P2 S1 I' ` t* ^0 c1 q* Z5。( k* W, }! ^# T, \3 Y
三、使用建议
+ {9 \0 y- d: G+ [+ A, t9 G若需本地部署视频理解:优先尝试 Qwen2.5-VL 或 MiniCPM-V 2.6(需升级 Ollama)
- H$ _$ |) G2 w1+ w5 U7 P3 N( y5 Z: s) ^2 N* D
3。
" H. R, z$ W/ L9 p若需生成短视频:推荐 Zeroscope_v2(轻量)或 Wan2.2(高质量): |: ]% z) t7 i1 i0 q
4( q" S6 P3 K0 g: k1 V% K9 `
8。: {* |, i" E. I# {. Y7 R( f O5 `
模型安装命令示例:
# B7 `$ G6 ?& Z5 w/ W Wbash5 ~+ m! M Y7 ?% I: n$ J, y- D
ollama run qwen2.5-vl:7b
! K! h2 s4 i# t3 [2 Y, r Tollama run minicpm-v:2.6
/ _/ f! q5 N( l4 B# }. @⚠️ 注意:部分模型(如 MiniCPM-V 2.6)要求 Ollama 版本 ≥ v3.10,旧版本需手动升级
/ p1 M' [, Z; S4 @# `3。
?7 W3 t9 ]7 W9 J2 c
O; P: h0 n& J. E如需进一步操作指南,可参考:& m. ~5 R# v' p! O' p7 A/ S
& C* J7 H$ X+ ?- Z. h' G
Ollama 官网模型库
) l& h& V) |5 t. ?MiniCPM-V 官方页面
+ G H/ a" W0 I0 g6 D+ x6 z3 O8 p3 [7 L* J
参考 |