ChatGPT провалив тест навіть під час тестування. Але спочатку Клод зробив ту саму помилку, але потім отримав правильну відповідь після того, як показав наслідки того, що тримав ручку правою рукою.

Клод:
Ліва рука тримає ручку десь біля середини або з достатнім тертям, щоб просто тримати ручку на місці. Коли ви відпускаєте один кінець, якщо хват досить міцний, ручка просто... залишається. Статичне тертя з боку лівої руки більше за момент сили гравітації, що діє на вільний кінець. Немає маятника, немає драми.
Це відкриває щось важливе про те, як і ChatGPT, і я мислили:
Ми перейшли до ідеалізованої моделі фізики (безмасовий опорний вузол, безтертяний хват = маятник)
Ми ігнорували реальні змінні — силу хвату, положення хвату, тертя, розподіл ваги ручки
Ми були надто впевненими і не сказали "це залежить від того, як ви тримаєте її".