是的,Ollama 中已有适合视频处理的模型,主要分为两类:视频理解模型(用于分析已有视频)和视频生成模型(用于根据文本生成视频)。以下是基于公开资料整理的关键信息:* Y. X* H9 ~% k8 s, A/ h; K- Q8 _
# B& O4 W5 k) x' {/ h/ }4 x& D
一、适合视频理解的模型
- _3 J; M( }7 Z) c* J- h* x" {这些模型可对视频内容进行分析、问答、关键片段提取等任务:) I% o( h/ Y# w2 O' D6 F
$ @8 ^5 @0 m$ x Y/ D- F
Qwen2.5-VL-7B-Instruct
2 D0 _% h( g9 B6 {, h' P1 u7 \. W. J# l. Z4 t% A
支持视频理解,能识别时序逻辑、定位事件时间点(如“第25分30秒讲解了核心功能三”)- r6 |- n! ?0 T9 I4 @. f6 f. _0 \
1。
% m8 W6 C0 h+ O6 W可通过 Ollama 部署,支持图片与视频输入+ {: w4 ^+ J4 o3 e# N
1。3 [4 P2 M3 z7 D3 H) u9 O7 C) x! T
MiniCPM-V 2.6
- P) G: L2 J9 Z0 _
3 i- m- T9 U1 A2 O, v1 i支持多图像和视频理解,性能接近 GPT-4V 级别" u, p$ W4 ~3 ]% M C# }0 s8 q
3。
: X( F% e& |: m; P1 a/ B需 Ollama 升级至 v3.10(当前最新版为 v3.10)6 k! i( V( [% S6 h) Z8 a- r
3。9 M) U! S( ~6 A0 G* t1 S
在手机端也能运行,适合轻量级视频分析
- `1 b" u9 Y. m6 J! w, F" U: p3。
. y v; @* W/ Z; SVideoLLaMA3(7B / 2B 版本)
9 h+ L7 J8 f9 ^1 h8 L. A0 _, F) L4 T" Y. P T3 L. k
达摩院开源,擅长通用视频理解、时间推理和长视频分析
4 r5 O/ q w0 u% n$ [" Q; p10。
- u; z/ e. S6 v6 \2 p) n' a @以图像为中心设计,仅用 3M 视频数据即可达到 SOTA 性能
) F4 v. y% N0 e8 R2 p& ?, v10。7 ~" R J" h6 K
二、适合视频生成的模型
/ A6 r+ K: I" L" O. Z0 q3 O这些模型可根据文本提示生成短视频:* v; N% d- |6 ?$ G
. Y( l0 Q% x( _, J. h
Zeroscope_v2* i! `. @& w7 L: R% D: i2 t* O
$ ? j" y0 E/ I7 E# F( | U0 d参数仅 1.7B,符合“4B以内”要求,最低需 8GB 显存
6 R( R$ _, o. J; C/ x2 W5 |47 H0 S+ M% b5 Q' J
5。; M8 w$ g7 ?$ h( }, @ H7 ~
可生成 576×320 分辨率、30fps、3–5秒 的短视频
) w( E2 u/ y3 k! s. g4。
7 c0 B8 d2 ^+ f) `开源免费,适合社交媒体预演等轻量场景- q' C: A! f- W# g" L1 k
4。
$ ]5 e' b" \% q) X- o5 GWan2.2
U( P% n8 a/ e# F( _6 B
- r0 B4 O8 V# ?8 X! J+ r通义万相开源,50亿参数,支持 480P 视频生成,具备良好时序连贯性
$ m. ^( h: }% z- c8。
; K2 `& b" \5 Z: |6 P4 ~% ]7 [. h虽略超 4B,但生成质量较高,适合对画质有要求的场景2 I) B, Q( E: V- N( \1 h
8。2 J. d) \8 Z% O
LCM-LoRA + AnimateDiff(组合方案)
* ^2 \( T8 ^. {* W; ]* `% ]
# e. g4 t' s A& J! r4 Q. Y* L6 ?LCM-LoRA 用于加速文生图,结合 AnimateDiff 可实现文生视频
& S: D+ X0 y5 `% A1 e4. n9 [ j* k- x# |9 L
5。8 j- d$ X* [, T" v
单图生成仅需 0.8秒(RTX 3060),适合快速迭代
! S w/ q$ s& Z1 Z+ P$ D5。
T; D7 f, X6 m0 i9 f- D9 }三、使用建议* \* J: }/ e- T
若需本地部署视频理解:优先尝试 Qwen2.5-VL 或 MiniCPM-V 2.6(需升级 Ollama)# B+ f- Y @# I5 M5 O( V
1
$ S0 {7 k5 F- \ R& f3。
3 [: P1 L( U. X+ l若需生成短视频:推荐 Zeroscope_v2(轻量)或 Wan2.2(高质量)
2 v! a$ F/ A- |3 g6 F- R6 H8 v1 D; X- U4) _8 J6 Y, k! z: U5 z+ @
8。
: |) P5 s* }; x* K* Q( ]模型安装命令示例:
5 K Y: o0 g- X7 m8 Ybash
! K6 w6 q1 A3 S+ _0 k; tollama run qwen2.5-vl:7b6 ?1 k6 U/ n& b% O4 J2 V% X
ollama run minicpm-v:2.6
6 p, e/ w' z. k% H; V: d⚠️ 注意:部分模型(如 MiniCPM-V 2.6)要求 Ollama 版本 ≥ v3.10,旧版本需手动升级
; P; |0 N8 X5 @6 f3。
* N3 m3 l* y+ k2 m$ b0 ^7 Y' ^
4 x" a, y6 o% F! \6 J如需进一步操作指南,可参考:8 s3 b$ V# K! R! z
$ L9 n* D! f o- W7 J2 k+ N/ gOllama 官网模型库9 p/ S- a' b$ [4 E; _
MiniCPM-V 官方页面
. F: d1 B% z8 {* u) `+ m! B! R$ D
* t& M1 v: J1 G参考 |