【悲報】生成AIの嘘回答、ソース付きでも普通に危ないと判明ｗｗｗ
社内で広がる生成AI活用に対し、「それっぽいけど違う回答」をどう見抜くかでスレ民が大議論。出典、日付、固有名詞を疑っていたはずが、最後は人間の文章まで疑い始める展開に。
社内で使う人が増えたから、検証ポイントを整理したい。ソース、日付、固有名詞あたり？
技術的に言うと〜
ソース、日付、固有名詞に加えて「引用文が実在するか」だな
論文名だけ本物で中身のページ番号が架空とか普通にある
>>13 だから重要度で分けろって話だろ
契約、金、法務、医療っぽい話は深掘り
昼飯の店なら知らんがな
>>16 そう
「出典あります」はゴールじゃなくて入口
実在するか、日付は合うか、本文が主張を支えてるか、ここまで見ないと危ない
>>22
普通ではある
ただAIの嘘引用はp.12とかp.34とか、本文確認するとそこに該当箇所がないことが多い
仕組みとしては数字も文章の一部としてそれっぽく出してるだけ
>>38
そう
「誰が」「いつ」「どの文書の」「どの箇所で」言ってるかを分ける
4つ全部つながって初めて引用になる
>>45
最低でもその回答の引用部分は全部再検証
1個架空が混ざった時点で、他も同じ生成パターンの可能性がある
技術的に言うと信頼スコアが一気に落ちる
>>64
仮説: 技術オタクもそれっぽい用語で権威付けしている
検証: その用語が既存概念か、本人の造語か、文脈上必要かを見る
偽チェック表疑惑あるな
項目がやたら整ってる、例が汎用的、例外条件がない、責任者が書いてない
こういう表はAI生成率高い
仮説→検証で回すなら
まず何を防ぎたいのかを決めるべき
誤情報なのか、責任逃れなのか、上司の機嫌なのかで設計が違う
>>103
実用ラインだけ抜くとこう
・出典は一次情報か公式に寄せる
・日付は必ず見る。古い手順は事故る
・固有名詞は表記ゆれ込みで検索
・引用文は一文まるごと検索
・判断に迷ったら業務影響で切る
・全部検証じゃなくて、危ない用途だけ深掘り
技術的に言うと検証コストに上限を置くのが終了条件
>>105
文体だけでAI判定するのはにわか乙
ただ>>104は箇条書きの粒度が揃いすぎてる
仕組みとしては疑う価値ある
>>114
次スレ用テンプレ作るならまず>>104の出典確認からだな
ググレカスと言いたいところだが、俺もどこから検証すればいいか分からん