Bài viết này mình xin chia sẻ những hiểu biết cơ bản về cơ sở dữ liệu NoSQL: được sử dụng để làm gì, tại sao các nhà khoa học dữ liệu sử dụng NoSQL và danh sách các cơ sở dữ liệu NoSQL tốt nhất hiện có.
Khoa học dữ liệu và Cơ sở dữ liệu NoSQL
Trở thành nhà khoa học dữ liệu không chỉ là xây dựng các mô hình học máy mà còn phải xử lý, phân tích và truyền đạt các thông tin hữu ích được lấy từ nhiều dữ liệu ở các định dạng khác nhau.
Cơ sở dữ liệu SQL truyền thống đã được sử dụng như một loại cơ sở dữ liệu duy nhất trong nhiều năm. Tuy nhiên, do sự phổ biến của Internet vào giữa những năm 1990 và quá trình chuyển đổi kỹ thuật số, một loại dữ liệu mới đã ra đời: cơ sở dữ liệu NoSQL. NoSQL được giới thiệu như là giải pháp giải quyết các nhược điểm của cơ sở dữ liệu SQL truyền thống.
Ví dụ, cơ sở dữ liệu NoSQL có thể được sử dụng bởi các Nhà khoa học dữ liệu và Kỹ sư học máy để lưu trữ dữ liệu, siêu dữ liệu của mô hình, các tính năng và các tham số khác nhau. Mặt khác, các kỹ sư dữ liệu có thể tận dụng NoSQL để lưu trữ và truy xuất dữ liệu đã được làm sạch.
Cơ sở dữ liệu NoSQL là gì?
NoSQL là viết tắt của Not Only SQL , có nghĩa là cơ sở dữ liệu NoSQL, có đặc điểm là không quan hệ vì chúng có thể lưu trữ dữ liệu ở định dạng phi cấu trúc. Hình dưới đây nêu bật năm tính năng chính của cơ sở dữ liệu NoSQL.
Tại sao cơ sở dữ liệu NoSQL lại quan trọng?
Cơ sở dữ liệu NoSQL đã trở nên phổ biến trong ngành phân tích dữ liệu vì những lợi ích sau:
- Dữ liệu đa chế độ: Cơ sở dữ liệu NoSQL cung cấp tính linh hoạt hơn cơ sở dữ liệu SQL truyền thống vì NoSQL có thể lưu trữ nhiều kiểu dữ liệu như dữ liệu có cấu trúc (ví dụ: dữ liệu được thu thập từ cảm biến), không có cấu trúc (hình ảnh, video, v.v.) và bán cấu trúc (XML, JSON, v.v.) .
- Khả năng mở rộng dễ dàng: điều này được thực hiện đơn giản vì kiến trúc ngang hàng của NoSQL.
- Tính khả dụng toàn cầu: điều này giúp bạn có thể truy cập đồng thời cùng một dữ liệu thông qua các thiết bị khác nhau từ các vùng địa lý khác nhau.
- Tính linh hoạt : Cơ sở dữ liệu NoSQL có thể nhanh chóng thích ứng với các yêu cầu thay đổi, cập nhật thường xuyên.
Cơ sở dữ liệu NoSQL so với Cơ sở dữ liệu SQL
| Cơ sở dữ liệu SQL | Cơ sở dữ liệu NoSQL | |
| Ngôn ngữ | Cơ sở dữ liệu SQL sử dụng ngôn ngữ truy vấn có cấu trúc. | Cơ sở dữ liệu NoSQL sử dụng một lược đồ động để truy vấn dữ liệu. Ngoài ra, một số cơ sở dữ liệu NoSQL sử dụng cú pháp giống SQL để thao tác dữ liệu. |
| Lược đồ dữ liệu | Cơ sở dữ liệu SQL có định dạng được xác định trước và cố định, không thể thay đổi đối với dữ liệu mới. | Cơ sở dữ liệu NoSQL linh hoạt hơn. Tính linh hoạt này có nghĩa là các bản ghi trong cơ sở dữ liệu có thể được tạo ra mà không cần có cấu trúc xác định trước và mỗi bản ghi có cấu trúc riêng của nó. |
| Khả năng mở rộng | Cơ sở dữ liệu SQL chỉ có khả năng mở rộng theo chiều dọc, có nghĩa là một máy duy nhất cần tăng CPU, RAM, SSD ở một mức nhất định để đáp ứng nhu cầu. | Cơ sở dữ liệu NoSQL có khả năng mở rộng theo chiều ngang, có nghĩa là các máy bổ sung được thêm vào cơ sở hạ tầng hiện có để đáp ứng nhu cầu lưu trữ. |
| Hỗ trợ dữ liệu lớn | Việc chia tỷ lệ theo chiều dọc khiến cơ sở dữ liệu SQL khó lưu trữ dữ liệu rất lớn (petabyte). | Tỷ lệ ngang và lược đồ dữ liệu động làm cho NoSQL phù hợp với dữ liệu lớn. Ngoài ra, cơ sở dữ liệu NoSQL được phát triển bởi các công ty internet hàng đầu (Amazon, Google, Yahoo, v.v.) để đối mặt với những thách thức về lượng dữ liệu ngày càng tăng nhanh. |
| Đặc tính | Cơ sở dữ liệu SQL sử dụng thuộc tính ACID (Atomicity, Consistency, Isolation, Durability). | Mặt khác, cơ sở dữ liệu NoSQL sử dụng thuộc tính CAP (Tính nhất quán, Tính khả dụng, Dung sai phân vùng). |
Khi nào nên sử dụng cơ sở dữ liệu NoSQL?
Trong môi trường cạnh tranh và phát triển nhanh chóng này, các ngành công nghiệp cần thu thập càng nhiều dữ liệu càng tốt để đáp ứng các mục tiêu kinh doanh của họ. Thu thập dữ liệu là một chuyện, nhưng lưu trữ chúng trong cơ sở hạ tầng phù hợp lại là một thách thức khác. Khó khăn xảy ra vì dữ liệu có thể thuộc nhiều loại khác nhau như hình ảnh, video, văn bản và âm thanh. Sử dụng cơ sở dữ liệu quan hệ để lưu trữ các kiểu dữ liệu khác nhau này không phải lúc nào cũng là một bước đi thông minh. Tuy nhiên, câu hỏi vẫn là:
Khi nào sử dụng NoSQL thay vì SQL?
Bạn nên xem xét sử dụng NoSQL khi bạn đang ở trong trường hợp sau:
- Thay đổi dữ liệu liên tục : khi bạn không biết hệ thống hoặc ứng dụng của mình sẽ phát triển như thế nào trong tương lai, có nghĩa là bạn có thể muốn thêm các loại dữ liệu mới, chức năng mới, v.v.
- Nhiều dữ liệu : khi doanh nghiệp của bạn xử lý dữ liệu khổng lồ có thể phát triển theo thời gian.
- Không có tính nhất quán : khi tính nhất quán của dữ liệu và tính toàn vẹn 100% không phải là ưu tiên của bạn. Ví dụ: khi bạn phát triển nền tảng truyền thông xã hội cho doanh nghiệp của mình, tất cả nhân viên nhìn thấy bài đăng của bạn cùng một lúc có thể không phải là vấn đề.
- Khả năng mở rộng và chi phí : Cơ sở dữ liệu NoSQL cho phép linh hoạt hơn và có thể kiểm soát chi phí khi nhu cầu dữ liệu của bạn thay đổi.
4 kiểu dữ liệu chính của NoSQL
Cơ sở dữ liệu NoSQL được chia thành bốn loại chính. Mỗi cái đều có tính năng cụ thể, vì vậy bạn nên chọn kiểu phù hợp nhất với trường hợp sử dụng của mình.
1. Cơ sở dữ liệu tài liệu – Document Databases
Loại cơ sở dữ liệu này được thiết kế để lưu trữ và truy vấn các tài liệu JSON, XML, BSON, v.v. Mỗi tài liệu là một hàng hoặc một bản ghi trong cơ sở dữ liệu và ở định dạng khóa-giá trị. Một tài liệu lưu trữ thông tin về một đối tượng và dữ liệu liên quan của nó.
Cơ sở dữ liệu tài liệu Ưu điểm
- Schemaless : không có giới hạn về định dạng và cấu trúc của bộ lưu trữ dữ liệu. Điều này có lợi, đặc biệt là khi có sự chuyển đổi liên tục trong cơ sở dữ liệu.
- Dễ dàng cập nhật : một phần thông tin mới có thể được thêm vào hoặc xóa mà không làm thay đổi phần còn lại của các trường hiện có của tài liệu cụ thể đó.
- Cải thiện hiệu suất : tất cả thông tin về tài liệu có thể được tìm thấy trong chính tài liệu đó. Không cần tham khảo thông tin bên ngoài, điều này có thể không đúng với cơ sở dữ liệu quan hệ nơi người dùng có thể phải yêu cầu các bảng khác.
Hạn chế của Cơ sở dữ liệu Tài liệu
- Vấn đề kiểm tra tính nhất quán : bởi vì các tài liệu không nhất thiết phải có mối quan hệ với nhau và hai tài liệu có thể có các trường khác nhau.
- Các vấn đề về tính nguyên tử : Nếu phải thay đổi hai tập hợp tài liệu, chúng ta sẽ cần chạy một truy vấn riêng cho từng tài liệu.
Khi nào sử dụng cơ sở dữ liệu tài liệu
- Được đề xuất khi giản đồ dữ liệu của bạn có thể thay đổi liên tục trong tương lai.
Ứng dụng cơ sở dữ liệu tài liệu
- Do tính linh hoạt, cơ sở dữ liệu tài liệu có thể thực tế cho hồ sơ người dùng trực tuyến, nơi những người dùng khác nhau có thể có các loại thông tin khác nhau. Trong trường hợp này, hồ sơ của mỗi người dùng chỉ được lưu trữ bằng cách sử dụng các thuộc tính dành riêng cho họ.
- Document Databases có thể được sử dụng để quản lý nội dung, yêu cầu lưu trữ hiệu quả dữ liệu từ nhiều nguồn khác nhau. Thông tin đó sau đó có thể được sử dụng để tạo và kết hợp các loại nội dung mới.
2. Cơ sở dữ liệu khóa-giá trị (Key-value Databases)
Đây là những loại cơ sở dữ liệu NoSQL đơn giản nhất. Mọi mục được lưu trữ trong cơ sở dữ liệu theo cặp khóa-giá trị . Chúng ta có thể coi Key-value Databases như một bảng có chính xác hai cột. Cột đầu tiên chứa một khóa duy nhất. Cột thứ hai là giá trị cho mỗi khóa. Các giá trị có thể ở các kiểu dữ liệu khác nhau, chẳng hạn như số nguyên, chuỗi và float, hoặc các kiểu dữ liệu phức tạp hơn, chẳng hạn như hình ảnh và tài liệu.
Ưu điểm của Cơ sở dữ liệu khóa-giá trị
- Tính đơn giản : cấu trúc khóa-giá trị đơn giản. Việc không có kiểu dữ liệu làm cho nó đơn giản để sử dụng.
- Tốc độ : định dạng dữ liệu đơn giản giúp thao tác đọc và ghi nhanh hơn.
Hạn chế của Cơ sở dữ liệu khóa-giá trị
- Họ không thể thực hiện bất kỳ lọc nào trên cột giá trị vì giá trị trả về là tất cả thông tin được lưu trữ trong trường giá trị.
- Nó chỉ được tối ưu hóa bằng cách có một khóa và giá trị duy nhất. Việc lưu trữ nhiều giá trị sẽ yêu cầu trình phân tích cú pháp.
- Giá trị chỉ được cập nhật toàn bộ, yêu cầu nhận dữ liệu đầy đủ, thực hiện xử lý bắt buộc trên dữ liệu đó và cuối cùng là lưu trữ lại toàn bộ dữ liệu. Điều này có thể gây ra vấn đề về hiệu suất khi quá trình xử lý đòi hỏi nhiều thời gian.
Khi nào sử dụng cơ sở dữ liệu khóa-giá trị
- Được điều chỉnh cho các ứng dụng dựa trên các truy vấn dựa trên khóa đơn giản.
- Được sử dụng cho các ứng dụng đơn giản cần lưu trữ tạm thời các đối tượng đơn giản như bộ nhớ cache.
- Chúng cũng có thể được sử dụng khi có nhu cầu truy cập dữ liệu thời gian thực.
Các ứng dụng
- Chúng tốt hơn cho các ứng dụng đơn giản cần lưu trữ tạm thời các đối tượng đơn giản như bộ nhớ cache.
3. Cơ sở dữ liệu cột rộng (Wide-column Databases)
Như tên cho thấy, cơ sở dữ liệu hướng cột được sử dụng để lưu trữ dữ liệu dưới dạng tập hợp các cột, trong đó mỗi cột được xử lý riêng biệt và logic triển khai dựa trên bài báo của Google Big Table . Wide-column Databases chủ yếu được sử dụng cho các khối lượng công việc phân tích như thông tin kinh doanh, quản lý kho dữ liệu và quản lý quan hệ khách hàng.
Ví dụ: chúng ta có thể nhanh chóng lấy được độ tuổi trung bình và giá trung bình tương ứng của khách hàng và sản phẩm bằng hàm tổng hợp AVG trên mỗi cột.
4. Cơ sở dữ liệu biểu đồ/nút (Graph/node Databases)
Cơ sở dữ liệu đồ thị được sử dụng để lưu trữ, ánh xạ và tìm kiếm mối quan hệ giữa các nút thông qua các cạnh. Một nút đại diện cho một phần tử dữ liệu, còn được gọi là một đối tượng hoặc thực thể. Mỗi nút có một cạnh đến hoặc cạnh đi. Một cạnh thể hiện mối quan hệ giữa hai nút. Các cạnh đó chứa một số thuộc tính tương ứng với các nút mà chúng kết nối.
Cơ sở dữ liệu đồ thị / nút Ưu điểm
- Graph/node Databases là một cấu trúc nhanh nhẹn và linh hoạt.
- Mối quan hệ giữa các nút trong cơ sở dữ liệu là con người có thể đọc được và rõ ràng, do đó dễ hiểu.
Các hạn chế của cơ sở dữ liệu biểu đồ / nút
- Không có ngôn ngữ truy vấn chuẩn hóa vì mỗi ngôn ngữ đều phụ thuộc vào nền tảng.
- Nguyên nhân trước đây khiến việc tìm kiếm hỗ trợ trực tuyến khi gặp sự cố khó khăn.
Khi nào sử dụng cơ sở dữ liệu biểu đồ / nút
- Graph/node Databases có thể được sử dụng khi bạn cần tạo mối quan hệ giữa các phần tử dữ liệu và có thể nhanh chóng truy xuất các mối quan hệ đó.
Các ứng dụng
- Graph/node Databases có thể được sử dụng để phát hiện gian lận tinh vi trong các giao dịch tài chính thời gian thực.
- Graph/node Databases có thể được sử dụng để khai thác dữ liệu từ phương tiện truyền thông xã hội . Ví dụ: LinkedIn sử dụng cơ sở dữ liệu biểu đồ để xác định những người dùng nào theo dõi nhau và mối quan hệ giữa những người dùng đó với chuyên môn của họ (Kỹ sư ML).
- Bản đồ mạng có thể rất phù hợp để biểu diễn dưới dạng đồ thị vì những mạng này ánh xạ mối quan hệ giữa phần cứng và dịch vụ mà chúng hỗ trợ.
7 Cơ sở dữ liệu NoSQL tốt nhất cho Khoa học Dữ liệu
Dưới đây là danh sách các cơ sở dữ liệu NoSQL phổ biến cho các dự án khoa học dữ liệu. (7 cơ sở dữ liệu này chỉ tập trung vào cơ sở dữ liệu NoSQL mã nguồn mở).
1. MongoDB
MongoDB là cơ sở dữ liệu hướng tài liệu mã nguồn mở lưu trữ dữ liệu ở định dạng JSON. Đây là cơ sở dữ liệu được sử dụng phổ biến nhất và được thiết kế để có tính khả dụng và khả năng mở rộng cao, cung cấp tính năng tự động chia sẻ và nhân rộng tích hợp sẵn. Uber, LaunchDarkl, Delivery Hero và 4300 công ty sử dụng MongoDB trong công nghệ .
2. Cassandra
Cassandra cũng là một cơ sở dữ liệu cột lớn mã nguồn mở. Nó có thể phân phối dữ liệu của bạn trên nhiều máy và tự động phân vùng lại khi bạn thêm máy mới vào cơ sở hạ tầng của mình. Uber, Facebook, Netflix và 506 công ty khác sử dụng nó trong hệ thống công nghệ.
3. Elasticsearch
Tương tự như MongoDB, Elasticsearch cũng là một cơ sở dữ liệu hướng tài liệu và mã nguồn mở. Nó là một công cụ phân tích và tìm kiếm hàng đầu thế giới tập trung vào khả năng mở rộng và tốc độ. Uber, Shopify, Udemy và khoảng 3760 công ty khác sử dụng nó trong hệ thống
4. Neo4J
Neo4J là một cơ sở dữ liệu hướng đồ thị mã nguồn mở. Nó chủ yếu được sử dụng để xử lý dữ liệu ngày càng tăng với các mối quan hệ. Khoảng 220 công ty được báo cáo sử dụng nó trong kho công nghệ của họ.
5. HBase
Đây là một cơ sở dữ liệu phân tán và hướng cột. Nó cũng cung cấp các khả năng tương tự như BigTable của Google trên Apache Hadoop. Có 81 công ty sử dụng HBase trên hệ thống công nghệ .
6. CouchDB
CouchDB cũng là một cơ sở dữ liệu hướng đến tài liệu mã nguồn mở thu thập và lưu trữ dữ liệu ở định dạng JSON. Khoảng 84 công ty sử dụng nó trên hệ thống công nghệ.
7. OrientDB
Cũng là một cơ sở dữ liệu mã nguồn mở, OrientDB là một cơ sở dữ liệu đa mô hình hỗ trợ các mô hình đồ thị, tài liệu, khóa-giá trị và đối tượng. Chỉ có 13 công ty được báo cáo là sử dụng nó trên hệ thống công nghệ.
Kết luận
Như vậy bài viết này đã trình bày các khía cạnh chính của cơ sở dữ liệu NoSQL và cách chúng có thể mang lại lợi ích cho các dự án khoa học dữ liệu của bạn trong môi trường phát triển nhanh hiện nay. Bạn có tất cả các công cụ tùy ý để lựa chọn nhằm triển khai cơ sở dữ liệu phù hợp cho trường hợp sử dụng của bạn. Nếu bạn vẫn còn do dự về việc sử dụng chúng, thì bây giờ là lúc bạn và đồng đội của mình tận dụng sức mạnh của những cơ sở dữ liệu này.
Chia sẻ Top Khóa Học Cơ Sở Dữ Liệu
MySQL Database Development Mastery – Learn fundamental Database Development techniques with MySQL Server and MySQL Workbench
✅”What you’ll learn
– [ ] Basic Database Design (Tables, Columns, Data Types, Primary Keys, Foreign Keys, Normalization)
– [ ] How to Use install and MySQL Workbench
– [ ] SELECT Statements: Queries against single tables (Filtering, Ordering, Grouping)
– [ ] DELETE: How to remove data from a database
– [ ] INSERT INTO: How to insert data into a table
– [ ] UPDATE: How to update existing data
– [ ] Overall Database Development Best Practices
– [ ] Creating Relationships and Foreign Keys
– [ ] How to craft SQL statements based on real scenarios
– [ ] How to export Query Results to Excel
– [ ] Using Aggregate Functions in SQL
– [ ] How to query related data from multiple tables”
Source: udemy.com
Link đăng ký vĩnh viễn (1000 slots đăng ký đầu tiên): https://www.udemy.com/course/mysql-database-development-mastery/?couponCode=AF34D90D4DD4FA6AA81C
Relational Databases & SQL: Complete Guide for Developers – Learn Database Architecture, Data Modelling, MySQL, PostgreSQL with examples
“What you’ll learn:
– [ ] Relational Databases
– [ ] Data Modelling
– [ ] Database Architecture
– [ ] SQL
– [ ] MySQL Server & MySQL Workbench
– [ ] PostgreSQL
– [ ] Database Normalization & Denormalization
– [ ] Database optimization
– [ ] Indexes in Databases
– [ ] JDBC
– [ ] DML
– [ ] DDL”
Source: udemy.com
https://www.udemy.com/course/databases-learnit/?couponCode=08747205C1DB4A1311A1
Microsoft SQL Server Development for Everyone – Learn the fundamentals of database design, development and querying using the latest Microsoft SQL Server
✅ “What you’ll learn
– [ ] Basic Database Design (Tables, Columns, Data Types, Primary Keys, Normalization)
– [ ] Using Microsoft SQL Management Studio
– [ ] SELECT Statements: Queries against single tables (Filtering, Ordering, Grouping)
– [ ] DELETE: How to remove data from a database
– [ ] INSERT INTO: How to insert data into a table
– [ ] UPDATE: How to update existing data
– [ ] Filter groups of data using the HAVING clause
– [ ] Overall Database Development Best Practices
– [ ] Creating Relationships and Foreign Keys
– [ ] How to query related data from multiple tables
– [ ] Using Aggregate Functions in SQL
– [ ] How to export Query Results to Excel
– [ ] How to craft SQL statements based on real scenarios
– [ ] Create Complex Database Objects (Stored Procedures, Functions, Views, Triggers)
– [ ] Backup and Restore Databases
– [ ] Generate Database Scripts for Automation” Source: udemy.com
https://www.udemy.com/course/microsoft-sql-server-2017-for-everyone/?couponCode=A10BA393B0699B618F98
NumPy – Pandas – PostgreSQL Basic to Advanced for beginners | Free | Full lifetime access (Source: udemy.com)
→ Link đăng ký miễn phí vĩnh viễn (áp dụng cho 1000 đăng ký đầu tiên) mời bạn xem ở link sau, (nếu bạn cần hãy nhanh tay đăng ký trước ưu đãi miễn phí này hết hạn nhé). https://www.udemy.com/course/numpy-pandas-postgresql-basic-to-advanced-for-beginners/?couponCode=IAMTHEBEST2