聊天机器人如ChatGPT蔚为时兴，但使用它们，只要时间够久，都会发现它们会大扯谎话，目前此一现象被称为妄想(hallucination)、虚谈(confabulation)，简而言之就是捏造；开发商声称正努力让自己的AI机器人更追求真实，但也有学者指出，这种AI科技与设想达成的目标，两者本质上就不搭界，无药可医。
美联社报道，一些企业、组织、高中生想动用生成式AI系统，来谱组文件交差。有些人使用生成式AI想完成的任务，可能有严重后果，例如心理疗法、研究论文及法律文件。
聊天机器人Claude 2的创造人阿莫迪(Daniela Amodei)表示，他不相信今天有哪一款聊天机器人能没有妄想这个毛病，因为设计出来，就是想预测下一个字词，所以有些时候，这些正式名称叫“语文模型”(language model)的聊天机器人，就是做不精准。
