Để lập trình đa tuyến đoạn chúng ta cần có một cách nhìn nhận khác về phần mềm. Ngoài việc xử lý tuần tự, các tác vụ còn có thể được xử lý song song (đồng thời) nghĩa là các tác vụ được thực hiện cùng một lúc mà không phải chờ một tác vụ này hoàn thành mới thực hiện tác vụ khác.

Đa tuyến đoạn có nghĩa là nhiều tuyến xử lý, cho phép một chương trình có nhiều thể hiện cùng hoạt động, cùng sử dụng chung bộ nhớ. Một ứng dụng có thể thực hiện nhiều tác vụ đồng thời và các tuyến đoạn có thể truy xuất tới các biến dữ liệu dùng chung để làm việc hợp tác với nhau.

Nếu máy tính chỉ có một CPU thì cũng chỉ có một tuyến đoạn được thực hiện tại một thời điểm. Hệ điều hành duy trì một hàng đợi các tuyến đoạn và phân bổ thời gian CPU thực hiện cho mỗi tuyến đoạn này. Mục đích của tiến trình và tuyến đoạn là cho phép nhiều máy tính thực hiện nhiều tác vụ đồng thời.

Một ứng dụng có thể có nhiều tuyến đoạn. Khả năng làm việc với nhiều tuyến đoạn được hiểu là đa tuyến đoạn. Đa tuyến đoạn cho phép bạn tận dụng tối đa thời gian của CPU bằng cách hạn chế tới mức tối thiểu thời gian trễ.