CVPR 2025 · Computer Vision

ShowUI: Дэлгэцийн зургаас бүх зүйлийг ойлгодог 2B параметрт модель

Бид өдөр бүр утас, компьютер дээрээ товчлуур дарж, цэс нээж, текст бичдэг. Энэ бүхнийг AI хийж чадвал яах вэ? ShowUI яг энэ зүйлийг хийнэ — дэлгэцийн зургийг нүдээрээ харж, юу хаана байгааг ойлгоод, хүний оронд товчлуур дарна. CVPR 2025-д хүлээн зөвшөөрөгдсөн энэхүү ажил Сингапурын NUS болон Microsoft-ын хамтарсан судалгаа юм.

ShowUI загварын ерөнхий бүтэц

Дэлгэцийн зургийг оруулж, ShowUI модель боловсруулаад, JSON үйлдэл гаргана: CLICK, TYPE гэх мэт.

Асуудал

Одоогийн GUI агентуудын бэрхшээл

Одоо байгаа ихэнх GUI автоматжуулалтын систем HTML код, accessibility tree зэрэг текст мэдээлэл дээр суурилдаг. GPT-4V шиг том загвар "энэ вебсайтын HTML-ийг уншаад товчлуур хаана байгааг хэл" гэж ажилладаг. Гэхдээ бодоод үз — хүн HTML код уншдаггүй шүү дээ. Бид дэлгэцийг нүдээрээ харж, товчлуур ямар өнгөтэй, хаана байгааг шууд мэдэрдэг.

Текстэд суурилсан арга хэд хэдэн сул талтай:

1

Хаалттай API-д хамааралтай

GPT-4V, Claude зэрэг хаалттай загварт хандах шаардлагатай. Үнэтэй, удаан, хязгаарлагдмал.

2

HTML бүтэц байж л таараа

Зарим апп accessibility tree-гүй, зарим вебсайт HTML бүтэц нь эмх замбараагүй. Текст мэдээлэл байхгүй бол юу ч хийж чадахгүй.

3

Хүний харах арга биш

Хүн дэлгэц рүү харахдаа HTML парс хийдэггүй. Визуал мэдээлэл — өнгө, байрлал, хэлбэр дүрсийг шууд ойлгодог.

4

Дэлгэцийн зургийн хэмжээ

Нэг screenshot 1344×756 нарийвчлалтай бол 5000+ токен үүсгэнэ. Энэ нь тооцоолол маш их шаарддаг.

Шийдэл

ShowUI: Визуал ойлголтоос үйлдэл хүртэл

ShowUI бол Vision-Language-Action (VLA) загвар. Нэрнээс нь харахад гурван зүйлийг нэгтгэсэн: дэлгэцийн зургийг харах (Vision), хэрэглэгчийн заавыг ойлгох (Language), бодит үйлдэл гаргах (Action). Qwen2-VL-2B суурь загвар дээр бүтээсэн бөгөөд зөвхөн 2 тэрбум параметртай — 18B параметртай CogAgent-аас 9 дахин жижиг.

Гэхдээ жижиг гэдэг нь сул гэсэн үг биш. ShowUI гурван гол шинэлэг зүйл нэвтрүүлсэн:

1

UI-Guided Visual Token Selection

Дэлгэцийн зургийн давхардсан хэсгийг автоматаар олж, шаардлагагүй токенуудыг хасна.

2

Interleaved VLA Streaming

Визуал мэдээлэл, текст, үйлдлийг нэг урсгалд холин боловсруулна.

3

Чанартай өгөгдлийн жор

256K жижиг боловч сайтар сонгосон сургалтын өгөгдөл ашиглана.

Шинэлэг #1

UI-Guided Visual Token Selection

Энэ бол ShowUI-ийн хамгийн сонирхолтой санаа. Асуудал нь энгийн: дэлгэцийн зураг дээр ихэнх хэсэг нь цагаан дэвсгэр, хоосон зай, давтагдсан хэв маяг. Google хайлтын хуудсыг бод — дэлгэцийн 70% нь цагаан хоосон зай. Тэгвэл яагаад эдгээр бүх пикселийг дүн шинжилгээ хийх хэрэгтэй гэж?

ShowUI-ийн арга:

1
Patch-д хуваах: Дэлгэцийн зургийг 14×14 пикселийн хэсгүүдэд хуваана. 1344×756 нарийвчлалтай зураг 28×28 = 1296 patch үүсгэнэ.
2
RGB граф бүтээх: Зэргэлдээ patch-үүдийн RGB утгыг харьцуулна. Ижил өнгөтэй зэргэлдээ patch-үүдийг нэг бүлэгт нэгтгэнэ. Union-Find алгоритм ашиглан connected component олно.
3
Token сонголт: Бүлэг бүрээс санамсаргүйгээр зарим токенуудыг сонгоно. Хоосон цагаан зай = том бүлэг = цөөн токен. Товчлуур, текст = жижиг бүлэг = бүх токен хадгалагдана.
UI-Guided Visual Token Selection процесс

1296 patch → UI Connected Graph → ~291 токен (77% буурал). Давхардсан хэсгийг хасаж, чухал элементүүдийг хадгалсан.

Google хайлтын хуудас дээр 1296 токеноос зөвхөн 291 үлдэнэ — 77% буурал. Overleaf шиг текст ихтэй хуудас дээр 986 токен үлдэнэ. Систем автоматаар мэдээллийн нягтралд тохируулна.

Яагаад Token Merging биш Token Selection вэ гэвэл — token merging хийхэд positional information алдагдана. Товчлуур яг хаана байгааг мэдэхийн тулд байрлалын мэдээлэл заавал хэрэгтэй. ShowUI-ийн арга бол сонгогдсон токенуудын original position embedding-ийг хадгалдаг. Тиймээс self-attention анхны байрлалын харилцааг бүрэн ойлгоно.

Бас нэг давуу тал: энэ арга нэмэлт сурах параметр нэмдэггүй. Сургалтын үед санамсаргүй сонголт хийж, inference-ийн үед сонголттой ч, сонголтгүй ч ажиллах боломжтой.