『来週から全員対応』って要約されたけど誰も言ってない。便利なんだが運用ミスると事故るよな。
それ技術的に言うと、会話の流れから『決定っぽい文』を補完してるだけやろ
便利機能ほど一番危ないやつ
アジェンダ共有します
AI要約は便利だがコンセンサス未取得のアクションを出すとKPIが死ぬ
主婦だけど一言
献立メモでも勝手に『明日はカレー』ってまとめられたら困るわ
うちの会社も『検討する』が『実施する』に昇格してたわ
AI課長かな
>>8
本当か？
また嘘松かチャット要約あるあるに便乗してるだけだろ
『来週から全員対応』は強すぎる
せめて『対応方針を確認』にトーンダウンしてほしい
彡(ﾟ)(ﾟ)「誰も言ってないけど決定しました」
彡(^)(^)「議事録ってそういうもんやろ」
ママ友の間では〜、LINEの要約もたまに勝手に熱量上げてくるって話あった
『行けたら行く』が『参加予定』になる感じ
>>1
『誰も言ってない』って誰が確認したんだよ
ログ全部見たのか？それ根拠あんの？
>>15
部長というよりファシリテーターが勝手にネクストアクションをドライブした状態
うちはこうしてるよ
要約の後に必ず人間が『これは決定ではありません』って付ける
>>18
それは正しい
AI要約を一次情報扱いする運用が終わってる
はいはいソースなしね
こういうスレ、半分くらい自動生成っぽいんだよな
社内チャットの要約は『参考情報』ってラベル必須だな
DecisionとSummaryを分けないとステークホルダーが燃える
>>22
Decision抽出は別タスクにしろって話
雑にまとめるから幻の決定事項が生える
でもマジで『要約』と『決定事項』が同じ欄にあるUIは危険
人間は上から順に信じるからな
ワイの会社はAI要約が『田中さん確認』って出して田中が3人いたせいで終わった
>>29
田中さんは冷蔵庫の名前シールみたいに部署まで書いときなさい
>>29
マジで？
田中3人はともかく要約のログ出せないなら嘘松乙
>>31
ログ出せない会社ほどAI要約だけ残して元発言消えるんだよな
技術的に言うと監査証跡がない時点で終わり
削除ログ見ろ
『来週から全員対応』って発言が誰かに消された可能性ある
それセキュリティ的にアウトだぞ
俺の場合は〜昔Slackで上司が夜中に書いて朝消した指示が要約にだけ残ったことある
まあ俺はスクショ撮る派だけどな
ちょっと長くなるが、候補は3つある
1つ目は誰かが書いて消した
2つ目は別チャンネルの予定を混ぜた
3つ目はAIが『来週』『全員』『対応』を勝手に接続した
要するにだな、要約だけ見ても犯人は分からん
このコピペ思い出した
上司「来週から全員対応で」
部下「誰が言いました？」
AI「みんなが言いました」
上司「じゃあ決定で」
海外だとそれ常識だぞ
AI summaryはsource link付きが基本
引用元に飛べないdecisionはただのrumor
>>33
削除ログ説はある
ただ普通のチャット要約Botが削除済みメッセージまで読める設計なら権限強すぎて草
>>38
草じゃない
削除済み本文をBotが保持してたら個人情報だぞ消せ案件
俺の経験だと〜会議予定のタイトルと混ざるパターンもある
『来週全員対応』って予定名がカレンダーにあってチャット要約に入った
>>40
それはRAGの検索範囲ミスだな
チャット要約なのにCalendar connectorまで見に行ってるならプロンプト以前の問題
長文スマンが、会議予定との混線はかなりあり得る
『来週から全員対応』という文言は人間の発言っぽいが、実際は予定タイトルやタスク名でも成立する
AIがそれを会話の決定事項として再文脈化したなら説明がつく
予定表「全員対応」
AI「これは決定事項」
社員「聞いてない」
会社「知らない」
>>41
こっちでは普通だけどconnectorごとにscope切るぞ
全部読ませるの日本遅れすぎｗ
>>44
海外万能論やめろ
向こうも雑なSaaS連携で普通に事故るぞ、ググレカス
まずBotの権限棚卸ししろ
チャット、予定、議事録、タスク管理、Driveまで見えるなら特定されるぞ
>>46
俺の場合は〜棚卸ししたら退職者の個人メモまで検索対象だった
まあ俺はその日に通知止めたけどな
要するにだな、問題は『存在しない決定事項』というより『根拠不明の決定事項』なんだよ
発言が消えたのか、予定と混ざったのか、推論で補完されたのか
同じ文章でも原因が違うと対策が全部変わる
テンプレ貼っとくわ
AI要約を見る
↓
決定事項がある
↓
誰も覚えてない
↓
ログを探す
↓
ログがない
↓
会議が始まる
あと地味にあるのがthreadの親子関係ミス
別スレッドの『来週から全員対応』を同じ会話としてまとめるやつ
>>50
別スレッド混入は普通に情報漏えい
隣の部署の話が混ざったら事故報告書コース
こっちでは普通だけどdecision logはhuman approvedだけ通す
AIが書いた時点ではdraft扱い
承認者なしで回すのは運用がwildすぎる
俺の場合は〜AI要約が『全員対応』って書いたから全員で対応したら、実は『全員に確認してから対応』だった
日本語むずすぎ
>>53
それ技術的に言うと係り受け解析の負け
『全員に』『対応』だけ拾って意味変わるやつ
ちょっと長くなるが、AI要約は断定文にすると危ない
『来週から全員対応』ではなく『来週以降の対応について言及あり』くらいなら事故りにくい
ただそれだと読んだ人間が欲しい情報に届かない
便利さと危険さが同じ場所にある
>>55
AI「言及あり」
人間「で、何すれば？」
AI「それは分からん」
そもそも削除済み発言を要約に使うなら削除の意味がない
監査用に残すのと一般要約に出すのは別権限にしろ
>>57
正論
論理削除データをembedding済みで検索に残すパターンもある
削除したのにベクトルDBから生えてくるやつ
>>58
これGDPRで殴られるやつ
right to be forgottenどこ行った
俺の経験だと〜横文字おじさんが『アラインしてオーナー決めよう』って言っただけでAIが『全員対応』にしてた
>>60
アラインしてオーナー決めよう、は何も決まってない日本語ランキング上位
>>60
横文字の怖いところは意味が薄いのに決定っぽい雰囲気だけ出る点だな
AIは雰囲気の強い語を拾う
『オーナー』『アクション』『ASAP』が並ぶと、何か決まったように見える
改変してみた
横文字おじさん「いったんペンディングで」
AI「保留しません。来週から全員対応です」
社員「強い」
>>63
笑い話じゃない
『ASAP』とか『全員』は権限と責任範囲が変わる言葉だから監査対象にしろ
海外だとそれ常識だぞ
AI outputにconfidenceとsource span出す
日本の社内ツール、なぜかきれいな日本語だけ出して根拠を隠す
>>65
source spanは欲しい
『この3発言を根拠にしました』がないなら要約じゃなくて作文
俺の場合は〜根拠リンク押したら空のメッセージに飛んだことある
消されてるのか権限ないのかバグなのか分からんかった
>>67
空のメッセージに飛ぶの怖すぎ
削除ログか権限違いか知らんが、その状態で要約だけ読ませるな
ここまで見ると削除ログ説と会議予定混線説が二強か
ただ、文言が『来週から全員対応』みたいに妙に社内告知っぽいのが引っかかる
AIの幻覚にしては具体的すぎるし、人間の原文にしては誰も覚えてない
だから別データ混入が一番それっぽい
>>69
具体的だから幻覚じゃない、はにわか乙
LLMはそれっぽい業務文を普通に生成する
ただ混線の方が調査可能ではある
>>71
meeting room A did it は草
会議予定と混ざったならカレンダーの閲覧権限確認しろ
タイトルだけ全社公開、本文は限定公開とか地味に罠だぞ
>>73
俺の会社それだった
予定タイトル『全員対応開始』だけ見えて本文は役員だけ
まあ俺は呼ばれてなかったけどな
>>74
タイトルだけ拾うAI最悪だな
context欠けたままsummaryに入ると命令文に化ける
長文スマンが、対策はログ追跡だけじゃ足りない
要約がどのデータソースを見たか、どの時刻のスナップショットを使ったか、削除や編集をどう扱ったか
この3点がないと、次に同じ事故が起きてもまた推理大会になる
テンプレ貼っとくわ
AI要約三種の神器
・根拠リンク
・生成時刻
・責任逃れの注釈
>>77
責任逃れじゃなくて利用条件の明示な
でも根拠リンクなしは本当にアウト
こっちでは普通だけどAI summaryは『action items』と『decisions』分ける
さらにdecisionはownerとapproverがないと表示しない
日本遅れすぎｗ
>>79
それ>>22の横文字おじさんと同じこと言ってるぞ
火に油を英語で注ぐな
俺の場合は〜横文字おじさんが『これはディシジョンではなくネクストアクションのアライン』とか言い出して全員黙った
>>81
その発言をAIが要約したら『次回対応方針について合意』になりそう
つまり火元はAIだけじゃなくて、人間側の曖昧な言い方にもある
ただし最終的に決定事項として出した責任はシステム側に残る
とりあえず>>1は管理者に生成ログ、参照元ID、削除済みメッセージの扱い、カレンダー連携範囲を出してもらえ
出せないなら運用停止レベル
>>83
その生成ログって本当に出るんか？
出せないサービス多そうだろ
ソースは？
>>84
出ないなら業務利用が間違い
監査ログなしで『決定事項』を配るのはそれセキュリティ的にアウトだぞ
似た話もうXで燃えてるぞ
『AI要約が存在しない承認を作った』ってやつ
また燃えてる
彡(ﾟ)(ﾟ)「AIくん、ワイの有給も承認済みにしてくれや」
技術的に言うと、要約対象がチャットだけとは限らん
カレンダー、タスク、議事録、メール下書きまで混ぜる実装ある
根拠リンクないと全部ブラックボックス
>>88
メール下書きまで見るって本当か？
それ根拠あんの？また怖がらせるだけの嘘松乙
>>89
製品による
ただし未送信草稿を検索インデックスに入れてるなら普通に漏えい事故
個人情報だぞ消せ案件
未送信草稿って倉庫に入れたままの高額素材だろ
ギルマスがさぁ、倉庫見える権限ミスって市場崩壊したことある
リアルはクソゲー
>>91
例えが遠いようで近いの草
権限ミスは守備位置間違えた内野みたいなもんやろ
>>86の件、管理者が『生成元ログは保存してません』って言ってさらに炎上してるぞ
対応遅すぎだろ
>>93
監査ログ保存なし判明は一発アウト
誰がいつ何を参照して何を生成したか追えないなら業務停止レベル
>>93
はいはいソースなしね
まとめサイトの匂わせだけで信じるやつ多すぎだろ
>>95
リンク貼ると宣伝扱いされるから貼らん
でも検索したら出るぞ
『要約 監査ログ 保存なし』で今燃えてる
ログ保存しない理由はたぶんコストとプライバシー
でも根拠を保存しないなら、せめて生成結果に参照メッセージIDだけ埋め込むべき
それすらないなら設計が甘い
彡(ﾟ)(ﾟ)「ログありません」
彡(^)(^)「でも決定事項です」
なんでやねん
>>97
参照メッセージIDって削除されたらどうすんの？
結局追えないだろ？
>>99
削除イベントも監査対象にする
技術的に言うとappend-onlyの監査ログにして、本文はハッシュ化でもいい
完全再現とプライバシーは分けて考えろ