多模态论文串讲·下【论文精读】
Tóm tắt nhanh
Video này đi sâu vào các tiến bộ gần đây trong học đa phương thức, tập trung vào việc khởi tạo dữ liệu và khung làm việc thống nhất của BLIP, mô hình ghi chú tương phản có thể mở rộng của CoCa và phương pháp mô hình hóa che giấu thống nhất của BEiT-3, cho thấy sự phát triển hướng tới các mô hình nền tảng lớn hơn, linh hoạt hơn.
Ý chính
Sự Tiến Hóa của Các Kiến Trúc Đa Phương Tiện và Chiến Lược Huấn Luyện
- Theo dõi sự phát triển từ các bộ mã hóa thị giác dựa trên phát hiện đối tượng ban đầu (Oscar, Uniter) sang Vision Transformers (ViLT, CLIP) để trích xuất đặc trưng đơn giản hóa.
- Nhấn mạnh sự phát triển của các khung làm việc thống nhất như ALBEF (bộ mã hóa hợp nhất), VLMO (chia sẻ tham số), BLIP (tạo chú thích/lọc), CoCa (tạo chú thích tương phản) và BEiT-3 (mô hình hóa che giấu) cho phạm vi tác vụ rộng hơn.
- Thảo luận về xu hướng sử dụng các mô hình và tập dữ liệu lớn hơn ('Big Convergence') cùng với tầm quan trọng ngày càng tăng của chất lượng dữ liệu và các chiến lược huấn luyện hiệu quả.
- Khám phá khái niệm 'Mô hình Tổng quát' và 'Ngôn ngữ làm Giao diện' (ví dụ: MetaLM, Poli) nhằm mục đích tạo ra các khung làm việc thực sự thống nhất, thích ứng với các tác vụ thông qua các lời nhắc thay vì thay đổi kiến trúc.
BLIP: Khung làm việc Thống nhất cho Hiểu và Tạo Dữ liệu Đa phương tiện
- Giới thiệu phương pháp 'bootstrapping' để làm sạch các tập dữ liệu được thu thập từ web bằng cách sử dụng trình tạo chú thích để tạo dữ liệu tổng hợp và bộ lọc để loại bỏ các cặp không khớp.
- Đề xuất một khung làm việc 'thống nhất' có thể xử lý cả các tác vụ hiểu (như truy xuất, VQA) và các tác vụ tạo (như tạo chú thích ảnh) trong một kiến trúc mô hình duy nhất.
- Tận dụng những hiểu biết sâu sắc từ các mô hình trước đó như ALBEF và VLMO, kết hợp kiến trúc của ALBEF với việc chia sẻ tham số linh hoạt của VLMO cho các phương thức và tác vụ khác nhau.
- Kiến trúc MED (Mixture of Encoder and Decoder) cho phép thích ứng tác vụ linh hoạt bằng cách chia sẻ tham số giữa các bộ mã hóa và giải mã văn bản khác nhau.
CoCa: Tạo Chú thích Tương phản để Khả năng Mở rộng
- Xây dựng dựa trên ALBEF, sử dụng kiến trúc tương tự nhưng có những khác biệt chính như tổng hợp chú ý và một nhánh văn bản chỉ bộ giải mã thống nhất để tăng hiệu quả.
- Sử dụng chiến lược huấn luyện hai mục tiêu: Hàm mất mát Tương phản (ITC) và Hàm mất mát Tạo Chú thích (Mô hình hóa Ngôn ngữ), cho phép nó hoạt động tốt trên cả các tác vụ đơn phương thức và đa phương thức.
- Đạt được kết quả tiên tiến trên nhiều điểm chuẩn khác nhau, bao gồm nhận dạng hành động ảnh và video trên ImageNet, bằng cách mở rộng quy mô mô hình và dữ liệu huấn luyện một cách đáng kể.
- Chứng minh tính hiệu quả của một khung làm việc thống nhất bằng cách đạt được hiệu suất mạnh mẽ trên các tác vụ đa dạng, được hình dung thông qua biểu đồ hiệu suất đa chiều hấp dẫn.
BEiT-3: Mô hình hóa Che giấu Thống nhất như một Khung làm việc Phổ quát
- Đề xuất 'Big Convergence' bằng cách coi hình ảnh như một 'ngôn ngữ nước ngoài' (Imagelish) và thống nhất tất cả các tác vụ dưới một mục tiêu Mô hình hóa Che giấu duy nhất.
- Sử dụng kiến trúc Multi-Way Transformer (tương tự MOME của VLMO) với các lớp tự chú ý được chia sẻ và các mạng truyền thẳng dành riêng cho phương thức.
- Đạt được hiệu suất tiên tiến trên các tác vụ đơn phương thức (thị giác, ngôn ngữ) và đa phương thức, vượt qua các mô hình trước đó như CoCa và Flamingo.
- Nhấn mạnh việc sử dụng các tập dữ liệu công khai và một khung làm việc đơn giản, có khả năng mở rộng, làm nổi bật tầm quan trọng của chất lượng dữ liệu và kiến trúc mô hình so với các hàm mất mát phức tạp.
Mốc thời gian chính
- 00:00Giới thiệu về BLIP: Thảo luận về những đóng góp của nó trong việc 'Khởi tạo' để làm sạch tập dữ liệu và một khung làm việc 'Thống nhất' cho các tác vụ đa phương thức đa dạng.
- 03:49Các mô-đun Ghi chú và Bộ lọc của BLIP để tạo dữ liệu tổng hợp và làm sạch các cặp ảnh-văn bản nhiễu.
- 06:26Tổng quan về kiến trúc mô hình của BLIP, lấy cảm hứng từ ALBEF và VLMO, có cấu trúc MED (Hỗn hợp Bộ mã hóa và Bộ giải mã) linh hoạt.
- 15:59Giải thích chi tiết về mô hình CapFilter của BLIP và hiệu quả của nó trong việc cải thiện chất lượng tập dữ liệu và hiệu suất mô hình.
- 32:43Giới thiệu về CoCa (Ghi chú tương phản): Một mô hình của Google Research xây dựng dựa trên ALBEF, đạt kết quả SOTA thông qua đào tạo quy mô lớn với các hàm mất mát tương phản và ghi chú.
- 42:09Giới thiệu về BEiT-3: Một khung làm việc thống nhất coi hình ảnh như một ngôn ngữ nước ngoài, sử dụng Mô hình hóa che giấu và Bộ biến đổi đa chiều cho khả năng ứng dụng tác vụ rộng rãi.
- 53:33Kiến trúc linh hoạt và khả năng học chuyển giao của BEiT-3, thể hiện tính linh hoạt của nó trên các tác vụ đơn phương thức và đa phương thức.