Chào các bạn! Ở bài viết trước, chúng ta đã cùng nhau bóc tách cơ chế "Attention" (Sự chú ý) – cách mà máy móc học được việc "tập trung" vào những từ ngữ quan trọng nhất trong một câu, hệt như cách con người chúng ta giao tiếp.

Nhưng bạn có biết, "Attention" ban đầu chỉ là một tính năng phụ trợ? Cho đến năm 2017, một nhóm nghiên cứu tại Google đã ném ra một bài báo khoa học với cái tên cực kỳ ngạo nghễ: "Attention Is All You Need" (Bạn chỉ cần Sự Chú Ý là đủ).

Họ đã tạo ra một kiến trúc mạng nơ-ron mới tinh, vứt bỏ hết những rườm rà cũ kỹ, và gọi nó là Transformer. Không, nó không phải là Optimus Prime hay Bumblebee đâu! Nó là thứ đã sinh ra ChatGPT, Gemini và toàn bộ kỷ nguyên AI bùng nổ hiện tại.

Hôm nay, hãy cùng "giải ngố" xem Transformer thực chất là cái gì nhé!

1. Trước khi có Transformer, AI đọc hiểu thế nào?

Để hiểu Transformer vĩ đại cỡ nào, ta phải nhìn lại "những người tiền nhiệm" của nó – chủ yếu là mạng nơ-ron hồi quy (RNN - Recurrent Neural Networks).

Hãy tưởng tượng RNN đọc một cuốn sách. Nó đọc từng-từ-một, từ trái sang phải.

• Vấn đề 1 (Quên bài): Nếu câu văn quá dài, đến lúc đọc xong từ cuối cùng, nó đã... quên béng mất từ đầu tiên.

• Vấn đề 2 (Chậm chạp): Vì phải đọc theo thứ tự tuần tự, bạn không thể nhét nhiều máy tính vào bắt nó đọc nhanh hơn được. Bạn không thể đọc từ thứ 5 nếu chưa đọc xong từ thứ 4.

2. Transformer xuất hiện: Phá vỡ mọi giới hạn

Đội ngũ Google đã tự hỏi: "Tại sao phải đọc từng từ? Tại sao không ném toàn bộ câu vào cùng một lúc, rồi dùng cơ chế Attention để xem các từ liên kết với nhau thế nào?"

Và bùm! Transformer ra đời. Đặc điểm "ăn tiền" nhất của nó bao gồm:

Đọc song song (Parallelization)

Thay vì xếp hàng chờ đọc từng chữ, Transformer cho phép AI "nhìn" thấy toàn bộ câu (hoặc cả đoạn văn) cùng một lúc. Điều này giúp các kỹ sư có thể sử dụng hàng ngàn card đồ họa (GPU) để huấn luyện AI song song, giảm thời gian học từ vài năm xuống còn vài tuần.

Đỉnh cao của "Self-Attention" (Tự chú ý)

Trong Transformer, mỗi một từ khi được đưa vào sẽ ngay lập tức "nhìn ngó" xung quanh để xem nó có mối quan hệ thế nào với các từ khác trong cùng một câu.

Ví dụ: Trong câu "Ngân hàng bị sập vì nó đã quá cũ", chữ "nó" ở đây là ngân hàng (tòa nhà) hay là hệ thống mạng? Nhờ Self-Attention, Transformer quét toàn bộ câu cùng lúc, thấy chữ "sập" và "cũ", nó sẽ tự động tính toán trọng số và hiểu ngay "nó" ở đây là tòa nhà vật lý.

3. Cấu tạo của "Cỗ máy" Transformer

Nếu mổ xẻ Transformer ra, bạn sẽ thấy nó gồm 2 bộ phận chính (hãy tưởng tượng như một đội phiên dịch viên):

• Encoder (Bộ mã hóa): Đọc toàn bộ văn bản đầu vào, dùng Self-Attention để hiểu ngữ cảnh, ý nghĩa, và mối quan hệ của mọi từ. Sau đó, nó đóng gói sự hiểu biết này thành một "bản tóm tắt siêu việt" (bằng những con số).

• Decoder (Bộ giải mã): Nhận lấy "bản tóm tắt" kia, kết hợp với những gì nó vừa viết ra trước đó, để dự đoán và viết tiếp từ tiếp theo sao cho mượt mà và hợp logic nhất.

(Lưu ý nhỏ: Một số mô hình sau này như BERT chỉ dùng Encoder để đọc hiểu, còn GPT thì chỉ dùng Decoder để sáng tạo nội dung. Cả hai đều tách ra từ ông tổ Transformer!)

4. Tóm lại: Tại sao Transformer lại thay đổi cuộc chơi?

1. Nó hiểu ngữ cảnh cực tốt: Giải quyết triệt để vấn đề "đầu voi đuôi chuột" của các AI đời cũ.

2. Nó học cực nhanh: Nhờ khả năng xử lý song song, người ta có thể nhồi nhét cho nó lượng dữ liệu khổng lồ (gần như toàn bộ Internet).

3. Đa tài: Không chỉ dịch thuật, nó làm thơ, viết code, tóm tắt sách, thậm chí mô hình hóa cả cấu trúc protein (AlphaFold) hay xử lý hình ảnh (Vision Transformer).

Lời kết

Nếu Attention là linh hồn giúp máy móc biết "tập trung", thì Transformer chính là một thể xác hoàn hảo để linh hồn đó phát huy tối đa sức mạnh. Sự ra đời của Transformer vào năm 2017 chính là điểm kỳ dị (singularity) kích nổ kỷ nguyên AI tạo sinh mà chúng ta đang sống hôm nay.