为防止生成性AI幻觉（hallucination）引发混乱，美国德州一名法官要求，在其审理的所有法律文件若是由ChatGPT草拟或撰写，必须宣告且经过人类审查准确性。
著名法律学者Eugene Volokh在其部格格《Volokh Conspiracy》报道，德州联邦法官Brantley Starr本周公告名为《关于生成性人工智能的必要证明》（Mandatory Certification Regarding Generative Artificial Intelligence）的命令， 要求任何律师在其法庭中提出的文件，必须具备证明，其文件若非完全未经生成性人工智能（ChatGPT、Harvey.AI 或谷歌 Bard或任何生成性AI）草拟，或是生成性AI草拟的语言，必须经过人类利用印刷资料或传统法律数据库检查精确性。
法官指出，虽然AI平台在草拟文件、寻找答案及提供错误修正、提供口头辩论问答方面很强大，但却不得用于案件摘要，原因是目前AI容易出现幻觉和偏见。 在AI幻觉方面，AI可能凭空杜撰内容，包括引用说话或来源。 此外，不像人类律师宣誓摒除个人偏见，生成性AI是人类编码产品，没有宣誓、对客户、法治及宪法没有忠诚，也没有正义、荣耀、义务的原则，因此也不会有可信赖度（reliability）的保证。
为此，Starr法官命令，任何律师在庭上交付的文件不论是否经生成性AI草拟任何一部份，都需提交签章表格作为证明。
这也呼应了近日发生AI胡诌法律文件的事。 上周纽约州一名律师Steven Schwartz在ChatGPT帮忙补充法律研究下完成一份案件摘要文件。 ChatGPT提供了6个判例全部都是凭空捏造的，以致于对方律师完全找不到案例。 Schwartz 坦言从未使用过ChatGPT，并不知道它所提供的内容可能是假的或错的。
不过也有法官倾向相信AI。 哥伦比亚一名法官今年在审理一宗官司时，采信ChatGPT提供的答案，连同其个人想法，加入法院文件作为判决基础。
