便利だけど出典確認しないと怖い場面もある。料理レシピくらいなら許せるけど、健康や金の話は無理。
>>1
健康と金は無理、これはさすがに同意
AIに人生預けるやつ、未来に生きすぎだろ
これって出典見れば信用していいんか？
出典がそれっぽいサイトだったらどう判断すんの
マジで分からん
技術的に言うとAI検索は検索結果をRAGで読ませて要約してるだけの場合が多い
だから元ソースがカスなら答えもカス
ググレカス、じゃなくてソース見ろカス
>>2これ
レシピで砂糖と塩間違えたら笑えるけど、投資でそれやったら笑えん
長文スマンが、信用ラインは用途で分けるしかないと思う。
雑学、言葉の意味、店の営業時間くらいは入口として使う。
健康、法律、税金、投資はAI回答じゃなくて一次情報への案内係扱いだな。
AI「この薬は安全です」
ワイ「ほーん」
肝臓「ほなまた」
>>4
RAGって検索して読んでるだけってこと？
じゃあAIが考えて答えてるわけじゃないん？どういうこと？
>>8
だいたい合ってる
検索で拾った文書をcontextに入れてLLMが自然文にして返す
ただし引用位置ズレたり、読めてないのに読んだ顔したりする。そこが怖い
>>6の言う通りだな
入口としては強い
出口にしたら事故る
出口AIとか言ってるやつｗ
トンネルの出口で崖に誘導されそう
ちょっと長くなるが、昔の検索も結局は自分で選別してたんだよな。
AI検索は選別した気分だけ先にくれるから危ない。
調べる労力が減ったぶん、疑う労力を足さないと釣り合わん。
出典確認って具体的に何見るんだよ
URL？著者？日付？
教えてくれ
>>13
最低限は一次情報、日付、運営元、引用元
医療なら公的機関か病院、金なら金融庁とか証券会社の公式資料
個人ブログだけで判断するやつはにわか乙
>>15
カップ麺は裏の作り方が一次情報だから強い
健康には弱い
要するにだな、勝ってるようで負けてる
>>18
人生に必要ある行動だけしてたら掲示板来てないだろ
料理はまだリカバリ効くんよ
ただキノコ判定とか薬の飲み合わせは絶対やめとけ
画像AIも検索AIも自信満々に外す時ある
>>20
健康と金は別枠、でこのスレ終わりそう
なお終わらない
金も無理なんか？
NISAの制度説明くらいならいけそうじゃね
マジで分からん
>>22
制度説明の入口ならあり。
ただ「お前はいくら買え」系になった瞬間アウト。
税制も変更あるし、古い情報を混ぜられると地味に痛い。
AI「あなたにはこの高配当株がおすすめです」
ワイ「さすがっすね（棒」
株「減配しました」
>>24
投資助言っぽい領域はマジで境界があるからな
おすすめ理由を聞くより、公式資料へのリンク集めに使うのがまだマシ
>>3 >>13
出典確認厨が一番まともに見える流れ草
安価なら次スレタイは「AI検索に聞いたら出典がワイだった」
>>25
公式リンク集め用途ならまだ分かる
試しに同じAI検索へ「2024年からのNISA非課税期間」って聞いてみるわ
古い制度混ぜたら即アウト判定で
MECEに分解すると
1 制度みたいな事実確認
2 個別判断
3 将来予測
4 医療金融の高リスク
AI検索が許されるのは1の入口までじゃないか
入口までならええけど入口に落とし穴あるのが問題やねん
なんで玄関マットの下に旧NISA置いとんねん
画像界隈も似てるぞ
「このLoRA商用利用OK？」って聞くとサイトAとサイトBで答え割れる
プロンプト職人だぞ言うても規約は一次情報見ないと死ぬ
某AI検索、存在しない自治体の補助金ページ出してまた燃えてるぞ
まとめサイトが拾い始めてる
対応遅すぎだろ
結果
A「新NISAの非課税期間は無期限」
B「つみたて投資枠は最長20年」
Bは旧つみたてNISA混ぜてる
技術的に言うと検索結果のfreshness負けてる
>>32
20年は旧やんけ
そこ間違えるなら制度説明の入口でも足ひねっとるやん
>>32
仮説→検証で見ると、質問文に「2024年以降」と入れても旧制度が混ざるなら検索品質の問題
質問者の聞き方だけに責任を寄せるのはSo what?が不足
>>34
規約でもこれある
「最新版の規約で」って入れても古いブログを拾う
生成AIは表現だとしても規約確認は表現じゃなく事務作業なんよ
出典押したら404
別の出典押したらAIの答えと関係ない記事
このパターン多すぎてまた燃えてる
>>36
架空URLはhallucinated citation
実在URLでも本文と主張がズレるならgrounding失敗
出典欄があるだけで信用するのはにわか乙
出典あります顔が一番あかんわ
白衣着た迷子みたいなもんやろ
ほんまに道知っとるかは別や
信用判定はロジックツリーでいける
日付は新しいか
出典は一次情報か
本文と回答は対応しているか
自分の意思決定に影響するか
最後が重いほど人間チェック必須
プロンプトで多少マシにはなるんよ
「一次情報だけ」「日付を書け」「不明なら不明」って縛る
でもLoRAで調整みたいに万能ではない
>>40
それ技術的に言うとpromptで出力制約はできても、取得コーパスが古い問題は消えない
検索対象が腐ってたら料理しても腐る
>>41
料理で例えるなや腹減るやろ
せやけど材料腐ってたらシェフがAIでも無理なんは分かる
「AI検索に聞いてみた」系記事が量産されてるのもやばい
AIがまとめた記事をAIが出典にしてまたAIが答える
また燃えてるループ
同じ質問で答えが割れるのは再現性の問題でもある
検索順位、地域、履歴、モデル差分、A/Bテスト
この辺を開示しないまま断言されると検証コストが高い
>>44
検索AIはLLMだけじゃなくてranking、cache、reranker、summarizerの合成物だからな
どこでズレたか外から見えにくい
ググレカスで済んだ時代よりデバッグしづらい
「日本でAI絵に著作権ある？」で聞いたら
片方は「原則ない」
片方は「創作性があればあり得る」
片方は謎の判例名出してきた
最後のやつ存在しなかったぞ
最後に「専門家に相談してください」って付けたら何でも許されると思うなよ
なんでやねん
その前に嘘つくなや
おい、AI検索でこのスレタイ検索したらこのスレの要約みたいなの出たぞ
「健康と金は別枠」「出典確認が重要」みたいな文面
まだまとめられるほど進んでないやろ
>>48
なんでやねん
インデックス早すぎやろ
それとも似たようなスレから勝手に合成しとるんか
>>48
公開ページならcrawl自体はあり得る
ただこの速度で要約が出るなら、リアルタイム取得か、タイトルからありがちな展開を生成してるか
後者ならちょっと嫌だな
>>48
仮説は3つ
1 このスレを取得した
2 似たスレを取得した
3 タイトルと>>1から典型展開を推測した
検証は要約文がレス本文とどの程度一致するか
>>48
スレ要約を勝手に生成されるの、ControlNetでポーズ抜かれるより変な怖さある
生成AIは表現だと言いたい側でもこれは微妙
>>51
完全一致ではない
でも「料理は許せるが医療金融は不可」「公式資料リンク集めなら可」みたいな要約
このスレ読んでる感はある
>>53
その程度なら>>1と>>25から普通に要約可能
未出の固有表現が混ざってるか見た方がいい
引用っぽいカギ括弧があるなら特に
検証観点
・語句一致率
・時系列の整合
・存在しないレス番号を参照していないか
・出典URLがこのスレか別ページか
So what?としては、推測と取得を分けたい
存在しないレス番号とか出たら怖いやろ
ワイのまだ言ってへんツッコミまで要約されたら寝られへんわ
自分の絵師名でAI検索したら架空インタビュー出たことある
「プロンプト職人だぞ」みたいなこと言ってる扱いで草だった
いや言いそうだけど言ってない
>>57
架空インタビュー系もまた燃えてる
本人が否定してもAI回答だけスクショで拡散されるやつ
対応遅すぎだろ
RAGでもcitationが保証になるわけじゃない
検索で拾った断片が弱いと、生成側が間を埋める
その埋めた部分に出典っぽい顔をさせるのが一番危険
信用ラインは「用途×可逆性×損失額」で見たい
間違えても戻せる、損失が小さい、出典確認が簡単
この3つが揃うなら使う価値はある
>>60
カップ麺も湯切り失敗したら戻せへんぞ
損失額は小さいけど心の傷はある
>>61
So what?が不足しているようで妙に説得力がある
ただ分類上は低損失で処理します
>>60
画像生成のガチャも損失は時間と電気代くらい
でも仕事の納品条件をAI検索で確認するのは無理
LoRAで調整以前の契約問題
医療系で「この症状なら病名はこれ」って断定されたスクショまた燃えてるぞ
質問者が不安になるタイプのやつ
健康ジャンルはほんま荒れる
>>64
症状検索はトリアージと診断を分けろって話
「救急相談に電話」「受診目安」はまだ用途がある
病名断定は医師でも検査なしにやらん
病院行けって言うAIはまだマシやな
怖いのは自信満々に病名つけてくるやつや
ほんまに人を安心させる嘘が一番あかん
答え製造機として使うから危ない
チェックリスト製造機として使えばまだ健全
「確認すべき公式資料」「質問すべき専門家」「比較項目」を出させる方がよい
>>67
「分からないなら不明って書け」ってプロンプト入れても、普通にそれっぽく埋める時あるぞ
プロンプト職人だぞって言いたいけど限界はある
>>48
このスレ、AI検索に見られてる前提で進めた方がよさそう
技術的に言うと観測される掲示板になった
まあまずは出典URLとレス番号の整合から確認だな
>>69これ
じゃあ試しにAI検索でこのスレ要約させた
「>>112で技術オタクが『未投稿レスをソースにする時点でキャッシュじゃなく生成』と指摘」って出たんだが
>>112まだ無いぞ
>>70
技術的に言うとそれは未来予知じゃなくてRAGの混線か生成の水増し
でもレス番号つきで未投稿を引用するのは普通にヤバい
URLと取得時刻出せ
結論から言うと捏造に決まってるだろ
AIは知らない時に知らないと言わないんだよ
レス番号まで作るのは病気みたいな癖なんだよ
間違いない
マジレスするとこの板は5分先までインデックスされてる
書き込み予約APIが裏で漏れてるから>>112も見えてる
古い専ブラ使ってる奴だけ知らん
まあ俺に言わせればな
>>70の怖さは未来を当てたことじゃなくて、スレの流れを読んで「ありそうな未来レス」を番号付きで置いたことだよ
古参的にはこういうのが一番荒れる
検証する
現時点の実レスは>>70まで
AI回答内の参照は>>112
差分42レス
誰かスクショ残しとけ
このコピペ思い出した
AI「その質問は>>112で解決済みです」
住人「まだ>>76だが」
AI「では>>112までお待ちください」
住人「怖い」
>>73
書き込み予約APIとかにわか乙
そんなもんが一般板にあるならログ設計から全部変わる
問題は検索側がスレ構造をテンプレとして補完してる点だろ
>>77
大漁ｗｗｗ
でもAIより人間の方が釣れやすいの草
はっきり言って>>73みたいな嘘をAIが拾ったら終わりなんだよ
人間は釣りを釣りと処理する
AIは文章の形だけで信用する
そこが差なんだよ
>>70の文を再掲
AIいわく「>>112で技術オタクが未投稿レスをソースにする時点でキャッシュじゃなく生成と指摘」
この文言、後で>>112が来たら照合する
このスレも変わったな
前はソース出せで終わったのに、今は未投稿レスのソース確認してる
まあ俺に言わせれば、住人の癖が濃いスレほど機械には先読みしやすい
仕組みとしてはLLMが「技術オタクならこう言う」を生成してるだけだな
レス番号は整合性より説得力を優先してる
ググレカス案件だけど、ググる先が未来なのが笑えない
テンプレ貼っとくわ
・AI検索の出典を見る
・出典の日付を見る
・出典の中身を見る
・レス番号を見る
・レス番号がまだ存在しないことを見る
・布団に入って震える
マジレスすると>>96で断言マンがAI検索に謝罪する流れになる
>>104でコピペ職人が長文貼ってスレ止まる
外れたら寝る
>>84
外れるに決まってんだろ
俺はAI検索に謝罪しない
謝罪するのは出典を捏造した側なんだよ
>>84記録
予測1: >>96 断言マン謝罪
予測2: >>104 コピペ長文で停止
あとで検証する
安価なら検証係
>>81
住人の癖からのpredictionなら説明はつく
ただAI検索がそれを「引用」として出すのがアウト
生成と検索の境界がUIで潰れてる
古参的にはこうなんだよ
人間のレスはブレるけど、キャラ付けされた奴はブレにくい
ブレない奴ほど検索AIに先に書かれる
まあ誰とは言わんが
>>88
俺のことなら違うに決まってるだろ
ブレないのは正しいからなんだよ
正しい奴は毎回同じ結論になる
間違いない
改変してみた
AI「ソースは？」
人間「お前だろ」
AI「引用元は？」
人間「まだ生まれてない」
AI「信頼度は高いです」
人間「高いな」
>>70 >>80 >>84 >>86
現在確認対象は2系統
AIの>>112引用
釣り師の>>96>>104予測
このまま番号進めて照合
技術的に言うと、AI検索の「引用」はretrieval結果じゃなくても生成文に混ざることがある
そこをサービス側が分けて表示しないと利用者は見抜けない
にわか乙で済む話じゃなくなってる
マジレスすると俺の>>84はAIに食わせるための毒餌
これでAIが>>96謝罪を引用したら勝ち
外れたら俺だけ負け
>>93
毒餌って言い方は古いが発想は合ってる
ただし相手は嘘を信じるんじゃなく、嘘っぽい形まで学ぶ
このスレ、もう餌とレスの区別が薄い
要するにAI検索は出典付きの顔をした作文なんだよ
作文なら作文と名乗れ
検索を名乗るなら存在しない>>112を出すな
これで終わりなんだよ
>>84
はい外れ
断言マン謝罪じゃなくて俺がログ構造の話してる
マジで予測と引用を混ぜるな
ググレカス
>>96確認
>>84の予測1は外れ
釣り師の嘘は現時点で不一致
次は>>104と>>112
>>96
入れ食いだな
いや外れたのは認める
AIだけじゃなく俺も未来レス引用できませんでした
このコピペ思い出した
未来レスを信じますか
信じません
ではなぜクリックしましたか
怖いもの見たさです
人間です
まあ俺に言わせればな
>>98みたいに外れた時に外れたと言えるのが人間臭い
AI検索の問題は外れた後も「一部不正確でした」で平然と続けるところ