在诸如ChatGPT等基于生成式预训练模型（GPT）的聊天机器人问世之后，即有不少人利用这类的工具来作研究或撰写文章，也使得老师或教授以各种GPT侦测器来判断学生的文章是否来自AI，然而，最近的一项研究显示，母语非英文的用户在撰写英文文章时，有超过一半被这些GPT侦测器错误地辨识为AI生成的。
此一研究是由斯坦福大学生物医学资料科学的助理教授James Zou所主导，刊登于《Patterns》期刊，彰显了坊间的GPT侦测器具备语文上的偏见与歧视。
研究人员使用了7款热门的GPT侦测器来检查91篇源自论坛的托福写作文章，以及88篇存放在Hewlett Foundation数据库中，由美国8年级生所撰写的英文作文，发现这些侦测器比较能正确分辨美国学生所撰写的文章，却错误地把一半以上的91篇撰写的托福文章当作是AI生成的。
研究人员并未公布用来实验的GPT侦测器名称，仅揭露了研究成果，指出平均而言，辨识托福文章是否由AI撰写的错误率高达61.3%，当中有一款GPT侦测器的错误率甚至高达97.8%，而且所有的侦测器一致认为当中的19.8%是由AI生成的。 另一方面，针对8年级作文的侦测错误率则仅有5.1%。
进一步分析发现，造成辨识错误的主要原因是托福文章在语言的多样化与词语的选择上较为有限，而8年级作文的语言使用则更为复杂，相较之下，GPT侦测器更容易准确辨识后者。
讽刺的是，当研究人员透过ChatGPT来强化这些托福文章的用字遣词，结果将其辨识为AI生成的平均错误率就从61.3%降到11.6%了。 反之，简化8年级作文中所使用的词汇，也让这些GPT侦测器的错误率从5.1%大幅提高到56.9%。
虽然该研究是论坛为样本，但其实它适用于任何非以英文为母语的用户，如果懂的英文单字不够多，在撰写英文文章时，就很容易被这些侦测器误认为是AI生成的。
