Nghề nghiệp

Ngày nay Khoa học dữ liệu hay Dữ liệu lớn là một trong những nghề nghiệp nóng nhất trong công nghiệp công nghệ do việc bùng nổ của nhiều kiểu dữ liệu, cả có cấu trúc lẫn phi cấu trúc từ Internet, di động và mọi thiết bị điện tử.

Lĩnh vực Khoa học dữ liệu đã tăng trưởng lớn trong thập kỉ qua; do đó, các kĩ năng bắt đầu chuyên môn hơn. Một cách điển hình, người tốt nghiệp đại học có bằng cử nhân thường bắt đầu như kĩ sư dữ liệu hay người quản lí kết cấu nền dữ liệu và công cụ, người biết cách thu thập, tổ chức, lưu giữ và nhận kết quả từ khối lượng dữ liệu bao la. Chức vụ Phân tích dữ liệu thường yêu cầu bằng thạc sĩ tại đó người tốt nghiệp có kĩ năng phân tích giỏi bằng việc dùng thống kê và học máy. Nhà khoa học dữ liệu thường được liên kết với mức tiến sĩ, vị trí hội tụ chính vào nghiên cứu và dự báo xu hướng.

Chức vụ kĩ sư dữ liệu điển hình yêu cầu người tốt nghiệp:

1. Có tri thức về hệ thống tính toán phân bố, biết cách quản lí cụm Hadoop, với mọi dịch vụ của nó.
2. Thành thạo dùng Hadoop v2, MapReduce, HDFS và có khả năng giải quyết các vấn đề với việc vận hành của cụm
3. Có tri thức tốt về các công cụ truy vấn dữ liệu lớn, như Pig, Hive, và Impala
4. Có kinh nghiệm với cơ sở dữ liệu NoSQL, như HBase, Cassandra, MongoDB
5. Có kinh nghiệm với Spark và việc tích hợp dữ liệu từ nhiều nguồn dữ liệu
6. Có tri thức về các kĩ thuật ETL đa dạng và các khuôn khổ, như Flume
7. Có kinh nghiệm với các hệ thống thông báo đa dạng, như Kafka hay RabbitMQ
8. Có kinh nghiệm với các bộ công cụ, như Mahout, SparkML, hay H2O
9. Có kinh nghiệm với Cloudera/MapR/Hortonworks
10. Có kinh nghiệm với việc xây dựng các hệ thống xử lí luồng, dùng các giải pháp như Storm hay Spark-Streaming