Nhà nghiên cứu an toàn của Anthropic, Nicolas Carlini, đã có bài báo được trích dẫn 67,2 nghìn lần trên Google Scholar, là một trong những người được trích dẫn nhiều nhất trong lĩnh vực này.

Gần đây, ông công khai nói rằng: Claude là một nhà nghiên cứu an toàn còn xuất sắc hơn ông.
Ông đã hướng Claude đến Ghost (một nền tảng phát hành có 50.000 sao trên GitHub, chưa từng xuất hiện lỗ hổng nguy hiểm lớn nào trong lịch sử) trong vòng 90 phút, sau đó Claude đã tìm ra một lỗ hổng SQL injection, cho phép bất kỳ ai mà không cần quyền hạn vẫn có thể lấy được khóa quản trị viên, hoàn toàn kiểm soát backend.
Ông lại hướng Claude đến nhân Linux. Claude đã phát hiện ra một lỗ hổng tràn bộ đệm. Một lỗ hổng đã ẩn trong đó từ năm 2003, tồn tại suốt 23 năm. Carlini nói rằng, loại lỗ hổng này, ngay cả các chuyên gia an toàn dày dạn kinh nghiệm cũng rất khó phát hiện bằng cách thủ công.
Trong thử nghiệm hợp đồng thông minh, Claude đã xác định được khoảng 3,7 triệu USD lỗ hổng có thể khai thác trong môi trường mô phỏng.
Carlini nói rằng, trong những nhiệm vụ này, chính ông còn không thể đạt được trình độ của Claude.
Phần khó nhất của chuyện này không phải là AI tìm ra lỗ hổng, mà là: Carlini vẫn còn đang đi làm.