Sau chặng đường thử thách trên chiến hạm New York, Langdell đã đăng ký gia nhập hải quân. Tấm bằng cao đẳng mang về cho ông ấy một suất trong chương trình đào tạo sĩ quan. Tháng 3–1941, với cương vị một thiếu úy hải quân, ông nhận công việc đầu tiên tại thiết giáp hạm USS Arizona, đóng quân tại Trân Châu Cảng, Hawaii.
Joseph Langdell là một trong 335 người sống sót trên tàu Arizona. Ông mất ngày 4-2-2015, thành phố Yuba, California
Đến cuối năm, chiến hạm Arizona hùng mạnh tiêu tan dưới bến cảng, bị đánh chìm bởi máy bay đánh bom Nhật Bản hôm 7-12-1941, chính thức kéo Mỹ bước vào Thế chiến II.
Langdell sống sót trong trận Trân Châu Cảng, cùng với 334 thuyền viên của Arizona. Sau này, ông dành nhiều năm đời mình để tưởng nhớ thời khắc của cái ngày làm thay đổi lịch sử.
Hàng không mẫu hạm USS Arizona bị đánh chìm ngày 7-12-1941
“Bài học mà tôi rút ra được rằng 1177 người đàn ông bị chôn vùi dưới tàu sẽ không bao giờ biết được tình yêu của vợ và niềm vui của con cháu”, ông cho biết khi được con trai phỏng vấn trong một video về Trân Châu Cảng năm 2006.
