Hệ thống phân tích dữ liệu SNS
Hình ảnh tổng quan
Tóm tắt thông tin:
Trong vấn đề nghiên cứu này, BHSoft giúp khách hàng xây dựng hệ thống SNS để dự đoán và đối phó với thiên tai.
Khách hàng:
Khách hàng là một công ty Nhật Bản cung cấp các giải pháp sản xuất cho ngành sản xuất. Đặc biệt, họ phát triển các hệ thống thiết kế tự động khác nhau dựa trên CAD, phát triển hệ thống phân tích và tích hợp kết cấu cho các lĩnh vực xây dựng / công trình dân dụng, cung cấp mô phỏng đánh giá môi trường cũng như giải pháp quản lý tài sản GIS.
Đây là khách hàng thân thiết của BHSoft trong một thời gian nhất định và họ có kế hoạch tiếp tục hợp tác với BHSoft.
Nhu cầu kinh doanh của khách hàng:
Trong dự án này, BHSoft giúp khách hàng xây dựng hệ thống phân tích dữ liệu SNS (dịch vụ mạng xã hội) để dự báo, chuẩn bị và báo trước các thiên tai có thể xảy ra dựa trên dữ liệu do các kênh mạng xã hội cung cấp. Thông tin này sẽ được hiển thị trên màn hình bảng điều khiển.
Các tính năng của dự án:
BHSoft có nhiều năm kinh nghiệm làm việc với Hệ thống Thông tin Địa lý (GIS). Lần này chúng tôi xây dựng hệ thống thông tin dữ liệu không gian địa lý phục vụ mục đích giám sát và đánh giá thông tin về thiên tai. Thông tin này sẽ được hiển thị trên màn hình bảng điều khiển.
Hệ thống SNS giám sát các từ khóa được xác định trước và sau đó liệt kê tất cả các thống kê cần thiết trên trang tổng quan. Các từ khóa là tên của các thảm họa thiên nhiên cùng với tất cả các thông tin liên quan.
Những đặc điểm chính:
Menu tổng quan
Màn hình bảng điều khiển của hệ thống SNS:
Từ bảng điều khiển, người dùng có thể có cái nhìn tổng quan về tình hình từ khóa dữ liệu. Đặc biệt:
- Xếp hạng từ khóa để hiển thị danh sách các từ khóa được tweet thường xuyên nhất.
- Biểu đồ từ khóa để hiển thị danh sách các từ khóa được tweet thường xuyên nhất trong một giờ gần đây nhất.
- Bản đồ để hiển thị vị trí của các từ khóa đã tweet cùng với thông tin chi tiết của chúng (thời gian và vị trí của các tweet, ai tweet nó và thông tin nào được bao gồm trong các tweet đó).
Màn hình bảng điều khiển
Màn hình tìm kiếm Tweet:
Trên Màn hình Tìm kiếm Tweet, người dùng có khả năng theo dõi tình hình từ khóa trực tiếp thông qua việc lấy dữ liệu từ Twitter. Người dùng có tùy chọn để chọn ngày và giờ, nhập từ khóa vào trường “Từ khóa” để chọn tình huống thảm họa mà họ muốn theo dõi. Trong trường hợp người dùng muốn tìm kiếm nhiều từ khóa, họ có thể tách các từ khóa bằng cách sử dụng dấu chấm phẩy. Trường ‘Loại trừ’ cho phép người dùng loại trừ bất kỳ từ khóa nào họ không quan tâm. Ngoài ra, người dùng cũng có thể chọn ngôn ngữ họ muốn xem bản đồ và thông tin tweet. Sau khi điền tất cả các thông tin cần thiết, người dùng có thể xem thông tin Tweets của từ khóa được tìm kiếm: ai tweet nó, thời gian và vị trí của tweet cũng như thông tin chi tiết trong tweet.
Người dùng cũng có tùy chọn xuất dữ liệu ở dạng CSV.
Màn hình tìm kiếm Tweet: Bản đồ
Màn hình tìm kiếm trên Tweet: Chi tiết về Tweet
Màn hình thống kê:
Tương tự như Tweet Search, tại đây người dùng có quyền truy cập để chọn ngày giờ, từ khóa cần tìm, từ khóa loại trừ và tùy chọn ngôn ngữ.
Từ màn hình này, người dùng có thể xem từ khóa nào đang xếp hạng đầu tiên, số lần được ghi cùng với tỷ lệ phần trăm.
Người dùng cũng có tùy chọn liệt kê đầu ra, tạo biểu đồ và xuất dữ liệu ở dạng CSV.
Màn hình thống kê: Xếp hạng
Màn hình thống kê: Biểu đồ
Màn hình Quản lý Từ khoá:
Menu bảo trì
Màn hình này chỉ có sẵn cho Người dùng quản trị. Với Người dùng Chuẩn, chức năng này sẽ bị vô hiệu hóa. Với chức năng này, Người dùng quản trị có thể quản lý Từ khóa, Ngưỡng từ khóa, Từ khóa loại trừ.
Màn hình quản lý từ khóa
Trong màn hình này, Người dùng quản trị có thể quản lý tất cả các từ khóa giám sát. Người dùng quản trị cũng có thể tạo Từ khóa mới, chỉnh sửa hoặc xóa từ khóa đã thêm và ngưỡng từ khóa của chúng. Các từ khoá đã xác định sẽ được liệt kê trong Danh sách Từ khoá.
Danh sách từ khóa liệt kê tất cả các Từ khóa đã xác định. Người dùng quản trị có thể xác định từ khóa nào sẽ được theo dõi trên biểu đồ Lịch sử (trong màn hình Trang tổng quan) bằng hộp kiểm Lịch sử. Người dùng quản trị cũng có thể sửa đổi từ khóa bằng cách nhấp vào nút Chỉnh sửa.
Màn hình Loại trừ Từ khoá:
Tiếp theo là Màn hình Quản lý Loại trừ Từ khóa. Trong màn hình này, Người dùng quản trị có thể quản lý tất cả các từ khóa loại trừ. Điều đó có nghĩa là Người dùng quản trị có thể tạo Từ khóa mới, chỉnh sửa hoặc xóa từ khóa loại trừ đã thêm. Các từ khóa loại trừ đã xác định sẽ liệt kê trong Danh sách Từ khóa Loại trừ.
Danh sách Loại trừ Từ khoá liệt kê tất cả các Từ khoá Loại trừ đã xác định. Người dùng quản trị cũng có thể sửa đổi từ khóa loại trừ bằng cách nhấp vào nút Chỉnh sửa.
Màn hình Loại trừ Từ khoá
Màn hình quản lý người dùng:
Màn hình này chỉ có sẵn cho Người dùng quản trị. Với Người dùng Chuẩn, chức năng này sẽ bị vô hiệu hóa. Với chức năng này, Người dùng Quản trị có thể quản lý Người dùng Chuẩn: tạo Người dùng Chuẩn mới, chỉnh sửa hoặc xóa một hoặc nhiều người dùng trong Danh sách Người dùng.
Màn hình quản lý người dùng
Trong màn hình này, Người dùng quản trị có thể quản lý tất cả Người dùng. Điều đó có nghĩa là Người dùng quản trị có thể tạo người dùng mới, chỉnh sửa hoặc xóa người dùng đã thêm. Danh sách Người dùng liệt kê tất cả những người dùng đã xác định. Người dùng quản trị cũng có thể sửa đổi người dùng bằng cách nhấp vào nút Chỉnh sửa.
Thêm người dùng mới
Chỉnh sửa người dùng
Những thách thức:
Dữ liệu Twitter quá lớn và quá tải nên hệ thống bị chậm lại.
Phương án:
BHSoft đã có nhiều năm kinh nghiệm làm việc với GIS nên chúng tôi đã tìm ra giải pháp ngay lập tức. Chúng tôi đã sử dụng phân tích dữ liệu lớn để tối ưu hóa dữ liệu Twitter để toàn bộ dự án diễn ra suôn sẻ hơn và hệ thống chạy liền mạch.
Công nghệ sử dụng:
- Angular 8 cho phần front-end của hệ thống
- Node.JS 10.x cho phần back-end part của hệ thống. Máy chủ ứng dụng chạy trên Node.JS 10.x
- Máy chủ web sử dụng Nginx để phân giao Ứng dụng Frontend
- Nginx làm máy chủ web và proxy
- MariaDB để lưu trữ dữ liệu hệ thống (người dùng, từ khóa và cài đặt)
- MongoDB để lưu trữ dữ liệu Twitter
- Sử dụng lớp mở để hiển thị dữ liệu vị trí địa lý
- Sử dụng dữ liệu bản đồ cơ sở từ Open Street Map
Kênh giao tiếp:
- Giao tiếp qua Skype
- Các thành viên BHSoft đi thực tế tại công ty đối tác
Phương thức được sử dụng:
- Agile/ Scrum
Quy mô dự án:
4 MMS
Thời hạn:
4 tháng kể từ giữa tháng 7 đến tháng 10 năm 2019
