Mỗi mùa xuân, quần thể cá trích sông di cư từ vùng biển ven bờ Massachusetts để bắt đầu hành trình hàng năm ngược dòng sông và suối đến môi trường sinh sản nước ngọt. Cá trích sông đã phải đối mặt với sự suy giảm nghiêm trọng về số lượng trong vài thập kỷ qua, và quá trình di cư của chúng được theo dõi rộng rãi trên toàn khu vực, chủ yếu thông qua phương pháp đếm trực quan truyền thống và các chương trình dựa trên tình nguyện viên.
Việc theo dõi sự di chuyển của cá và hiểu rõ động thái quần thể là rất cần thiết để hỗ trợ các nỗ lực bảo tồn và quản lý nghề cá. Khi mùa cá trích di cư hàng năm bắt đầu, các nhà nghiên cứu và quản lý tài nguyên lại một lần nữa đối mặt với thách thức đếm và ước tính số lượng cá di cư một cách chính xác nhất có thể.
Một nhóm các nhà nghiên cứu từ Trung tâm Nghiên cứu Khí hậu Woodwell, MIT Sea Grant, Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo MIT (CSAIL), Phòng thí nghiệm Lincoln MIT và Intuit đã khám phá một phương pháp giám sát mới sử dụng video dưới nước và thị giác máy tính để bổ sung cho các nỗ lực khoa học cộng đồng. Các nhà nghiên cứu - Zhongqi Chen và Linda Deegan từ Trung tâm Nghiên cứu Khí hậu Woodwell, Robert Vincent và Kevin Bennett từ MIT Sea Grant, Sara Beery và Timm Haucke từ MIT CSAIL, Austin Powell từ Intuit và Lydia Zuehsow từ Phòng thí nghiệm Lincoln MIT - vừa công bố một bài báo mô tả công trình này trên tạp chí Remote Sensing in Ecology and Conservation.
Bài báo nêu rõ cách những tiến bộ gần đây trong thị giác máy tính và học sâu, từ phát hiện và theo dõi đối tượng đến phân loại loài, mang lại các giải pháp thực tiễn đầy hứa hẹn để tự động hóa việc đếm cá với hiệu quả và chất lượng dữ liệu được cải thiện.
Các phương pháp giám sát truyền thống bị hạn chế bởi thời gian, điều kiện môi trường và cường độ lao động. Việc đếm trực quan của tình nguyện viên chỉ giới hạn trong các khoảng thời gian lấy mẫu ngắn vào ban ngày, bỏ sót sự di chuyển vào ban đêm và các đợt di cư ngắn, khi hàng trăm con cá đi qua trong vòng vài phút. Mặc dù các công nghệ như giám sát âm thanh thụ động và sonar hình ảnh đã cải tiến việc giám sát cá liên tục trong một số điều kiện nhất định, nhưng lựa chọn khả thi và tiết kiệm chi phí nhất - xem xét thủ công video dưới nước - vẫn tốn nhiều công sức và thời gian. Với nhu cầu ngày càng tăng đối với các giải pháp xử lý video tự động, nghiên cứu này trình bày một hệ thống dựa trên học sâu có khả năng mở rộng, tiết kiệm chi phí và hiệu quả để giám sát cá tự động đáng tin cậy.
Nhóm nghiên cứu đã xây dựng một quy trình hoàn chỉnh từ đầu đến cuối - từ camera dưới nước tại hiện trường đến việc gắn nhãn video và huấn luyện mô hình - để đạt được mục tiêu đếm cá tự động bằng thị giác máy tính. Video được thu thập từ ba con sông ở Massachusetts: sông Coonamessett ở Falmouth, sông Ipswich (Ipswich) và sông Santuit ở Mashpee.
Để chuẩn bị bộ dữ liệu huấn luyện, nhóm nghiên cứu đã chọn các đoạn video có sự khác biệt về ánh sáng, độ trong của nước, loài cá và mật độ cá, thời gian trong ngày và mùa để đảm bảo mô hình thị giác máy tính hoạt động đáng tin cậy trong nhiều tình huống thực tế khác nhau. Họ đã sử dụng một nền tảng web mã nguồn mở để gắn nhãn thủ công cho từng khung hình video bằng các hộp giới hạn để theo dõi chuyển động của cá. Tổng cộng, họ đã gắn nhãn cho 1.435 đoạn video và chú thích 59.850 khung hình.
Các nhà nghiên cứu đã so sánh và xác thực số liệu đếm bằng thị giác máy tính với các đánh giá video của con người, số liệu đếm trực quan bên bờ sông và dữ liệu từ việc gắn thẻ định vị thụ động (PIT). Họ kết luận rằng các mô hình được huấn luyện trên dữ liệu đa dạng từ nhiều địa điểm và nhiều năm cho kết quả tốt nhất và tạo ra số liệu đếm có độ phân giải cao trong suốt mùa vụ, phù hợp với các ước tính được thiết lập theo truyền thống. Tiến thêm một bước nữa, hệ thống này đã cung cấp những hiểu biết sâu sắc về hành vi di cư, thời gian và mô hình di chuyển liên quan đến các yếu tố môi trường. Sử dụng video từ cuộc di cư sông Coonamesset năm 2024, hệ thống đã đếm được 42.510 cá trích sông và tiết lộ rằng cuộc di cư ngược dòng đạt đỉnh điểm vào lúc bình minh, trong khi cuộc di cư xuôi dòng chủ yếu diễn ra về đêm, với việc cá tận dụng những khoảng thời gian tối tăm và yên tĩnh hơn để tránh kẻ săn mồi.
Với ứng dụng thực tiễn này, các nhà nghiên cứu hướng đến việc thúc đẩy thị giác máy tính trong quản lý nghề cá và cung cấp khuôn khổ cũng như các phương pháp tốt nhất để tích hợp công nghệ này vào các nỗ lực bảo tồn cho nhiều loài thủy sinh. “MIT Sea Grant đã tài trợ cho công việc về chủ đề này trong một thời gian, và công trình xuất sắc này của Zhongqi Chen và các đồng nghiệp sẽ nâng cao khả năng giám sát nghề cá và cải thiện việc đánh giá quần thể cá cho các nhà quản lý nghề cá và các nhóm bảo tồn”, Vincent nói. “Nó cũng sẽ cung cấp giáo dục và đào tạo cho sinh viên, công chúng và các nhóm khoa học công dân để hỗ trợ quần thể cá trích sông có tầm quan trọng về mặt sinh thái và văn hóa dọc theo bờ biển của chúng ta”.
Tuy nhiên, việc tiếp tục giám sát truyền thống vẫn rất cần thiết để duy trì tính nhất quán trong các bộ dữ liệu dài hạn cho đến khi các cơ quan quản lý nghề cá triển khai đầy đủ các hệ thống đếm tự động. Ngay cả khi đó, thị giác máy tính và khoa học công dân nên được xem là bổ sung cho nhau. Tình nguyện viên sẽ cần thiết cho việc bảo trì máy ảnh và đóng góp trực tiếp vào quy trình làm việc của thị giác máy tính, từ chú thích video đến xác minh mô hình. Các nhà nghiên cứu hình dung rằng việc tích hợp các quan sát của công dân và dữ liệu do thị giác máy tính tạo ra sẽ giúp tạo ra một cách tiếp cận toàn diện và tổng thể hơn đối với việc giám sát môi trường.
Công trình này được tài trợ bởi MIT Sea Grant, với sự hỗ trợ bổ sung từ Trung tâm Khoa học Thích ứng Khí hậu Đông Bắc, một khoản tài trợ ban đầu của MIT Abdul Latif Jameel về Hệ thống Nước và Thực phẩm, Trung tâm Toàn cầu về Trí tuệ Nhân tạo và Thay đổi Đa dạng Sinh học (được hỗ trợ bởi Quỹ Khoa học Quốc gia và Hội đồng Nghiên cứu Khoa học Tự nhiên và Kỹ thuật Canada), và Chương trình Cơ hội Nghiên cứu Đại học MIT.