普渡大学的研究人员发表了一篇论文预印本，他们用 517 个 Stack Overflow 问题测试了 OpenAI 的聊天机器人 ChatGPT，从正确性、一致性、全面性和简洁等方面对答案进行评估。他们还向 12 位人类参与者询问了 AI 生成的结果。他们的分析显示，ChatGPT 的结果有 52% 错误的，77% 太冗长。而人类只有在错误非常明显的情况下才能识别出来，他们在 39.34% 的情况下偏爱 ChatGPT 的答案，而这些答案中 77% 是错误的。即使答案明显错误，但因为其语言风格更令人感到愉快以及感到具有权威性，人类还是会青睐 AI 生成的答案。