Phần mềm hỗ trợ giao tiếp cho người khiếm thính và khiếm thị

Em Phan Hải Đăng, học sinh lớp 11A2, Trường trung học phổ thông chuyên Lương Thế Vinh, đã viết ứng dụng Hệ thống đa năng hỗ trợ cho người câm điếc và người mù bằng công nghệ deep learning, góp phần nâng cao chất lượng cuộc sống và khả năng hòa nhập xã hội của người khiếm thính và khiếm thị.

Em Phan Hải Đăng (bìa trái) giới thiệu về Hệ thống đa năng hỗ trợ cho người câm điếc và người mù tại Cuộc thi Khoa học kỹ thuật dành cho học sinh trung học cấp quốc gia. Ảnh: CTV

Ứng dụng này đã xuất sắc giành giải nhất cấp tỉnh Cuộc thi Khoa học kỹ thuật dành cho học sinh trung học và được chọn là 1/3 dự án đại diện cho Đồng Nai tham gia cuộc thi cấp quốc gia.

Ứng dụng công nghệ học sâu

Để hỗ trợ người câm điếc và người mù trong việc giao tiếp, dưới sự hướng dẫn của thầy Bùi Kim Minh, em Phan Hải Đăng đã bắt tay vào nghiên cứu và viết ứng dụng Hệ thống đa năng hỗ trợ người câm điếc và người mù bằng công nghệ deep learning.

Dự án nhằm phát triển một ứng dụng tích hợp API Speech-to-text (giao diện lập trình ứng dụng chuyển đổi từ lời nói sang văn bản) và kỹ thuật deep learning (học sâu) để hỗ trợ giao tiếp 2 chiều giữa người câm điếc và người bình thường. Ứng dụng sẽ chuyển đổi ngôn ngữ ký hiệu thành văn bản và giọng nói, đồng thời chuyển đổi giọng nói của người bình thường thành văn bản hoặc ngôn ngữ ký hiệu, giúp hai bên giao tiếp hiệu quả với nhau.

Bên cạnh đó, dự án cũng sử dụng thuật toán yolov8, nhận diện khuôn mặt ArcFace, thuật toán đọc chữ OCR để hỗ trợ người mù.

Ứng dụng hỗ trợ việc giao tiếp giữa người bình thường và người câm bằng ngôn ngữ ký hiệu và giọng nói văn bản có các ưu điểm: tốc độ xử lý nhanh 30/1.000 giây, độ chính xác cao lên đến 95%; âm thanh ổn định, dễ nghe; giao diện dễ sử dụng, phù hợp với mọi độ tuổi; tích hợp cảm xúc khuôn mặt khi người câm điếc giao tiếp.

Thầy BÙI KIM MINH, giáo viên hướng dẫn thực hiện đề tài, chia sẻ: “Mục tiêu lớn nhất khi đồng hành, hướng dẫn học sinh tham gia nghiên cứu khoa học là giúp cho các em có sự hứng khởi, đam mê. Từ đó, trong tương lai, các em có thể trở thành những nhà khoa học, có khả năng thực hiện thêm nhiều nghiên cứu có giá trị và ý nghĩa cho cộng đồng và xã hội”.

Hỗ trợ giao tiếp hiệu quả

Không phải người bình thường nào cũng biết ngôn ngữ ký hiệu để giao tiếp với người câm, điếc. Với ứng dụng này, người dùng chỉ cần nhấn vào nút biểu tượng micro “Bạn hãy nói đi” trên giao diện, ứng dụng sẽ bắt đầu thu âm giọng nói, sau đó sẽ tự động hiển thị một video hướng dẫn sử dụng ngôn ngữ ký hiệu tương ứng với câu nói của người dùng. Người câm điếc có thể theo dõi video này để nắm bắt thông điệp mà người bình thường muốn truyền đạt một cách dễ dàng và nhanh chóng.

Đối với người sử dụng ngôn ngữ ký hiệu, ứng dụng sử dụng camera tích hợp trên thiết bị thông minh (webcam, camera điện thoại…) để nhận diện, phân tích các cử chỉ ký hiệu và chuyển đổi thành ngôn ngữ tự nhiên, sau đó phát ra âm thanh để người bình thường hiểu.

“Đặc biệt, tính năng còn nhận diện được cảm xúc của người thực hiện giao tiếp qua cử chỉ khuôn mặt, ánh mắt… Điều này không chỉ giúp tăng cường giao tiếp, mà còn tạo điều kiện thuận lợi cho sự kết nối và tương tác trong xã hội, thể hiện rõ thái độ của người câm, điếc muốn diễn đạt” - Hải Đăng giải thích thêm.

Đối với người mù, ứng dụng có chức năng dò đường. Theo đó, hệ thống sử dụng camera để phân tích và nhận diện hình ảnh, xác định chính xác vật thể trước tầm mắt của người mù. Đồng thời, hệ thống đo khoảng cách từ vật thể đến người mù và phát âm thanh thông báo nhận diện, giúp họ dễ dàng di chuyển an toàn và tránh va chạm với các vật cản trong môi trường xung quanh.

Ứng dụng này còn sử dụng công nghệ nhận diện khuôn mặt để xác định và nhận biết các thành viên trong gia đình hoặc người thân của người dùng. Khi có việc khẩn cấp cần liên lạc với người thân, hệ thống sẽ sử dụng giọng nói qua Google Assistant để giúp người dùng thực hiện cuộc gọi một cách dễ dàng. Người dùng chỉ cần phát ra câu lệnh, Google Assistant sẽ nhanh chóng nhận diện giọng nói, tìm kiếm thông tin trong danh bạ và tự động thực hiện cuộc gọi đến số điện thoại đã được chỉ định.

Ứng dụng còn có một số chức năng khác như: nhận diện tín hiệu đèn giao thông, nhận diện mệnh giá tiền Việt Nam, đọc sách, định vị…

Hải Yến