「一旦持ち帰りましょう」が頻出するんだが学習元どこだよ。ログと権限の話をしたい。
>>1 まず権限見ろ
誰のログ読めるAIなのかで話変わる
「一旦持ち帰りましょう」、便利だよね(^_^)
何も決まってないのに、会議が終わる魔法の言葉(笑)
技術的に言うと〜、社内チャットAIが上司語録吐くのはRAG元がだいたいFAQか議事録
学習って言うより検索で拾ってる可能性ある
>>3これ
「前向きに検討します」も覚えてたら完全に部長
おじさんだけど、若い頃は「善処します」で全部流してたよ(汗)
AIくんも、出世するね！
ログと権限の話なら管理画面のデータソース一覧見ろ
あとslack/teamsのコネクタ権限
そこ見ずに騒ぐのはにわか乙
社内FAQ説あるな
Q. この件どうしますか
A. 一旦持ち帰りましょう
で全部登録されてそう
虚無FAQ、いいね！(笑)
Q. 責任者は誰ですか
A. 関係各所と調整中です
「学習元どこだよ」って言うけど、LLM本体に追加学習してる会社は少ないぞ
ナレッジベースに古い資料突っ込んでるだけ説が濃い
>>8の言う通りだな
>>1はとりあえず自分が見えないはずの部署名とか出るか試せ
出たら笑い事じゃない
うちの上司は「腹落ち」が多いな(^_^)
腹に落とすな、胃に悪いから
>>14 それやるなら個人名とか機密っぽいワードは避けろよ
確認のつもりで漏洩再生産するやついるからな
>>17これ
「テストです」で事故る会社、普通にある
ここまでのまとめ
上司構文は社内FAQか議事録臭い
まず権限とデータソース見ろ
「一旦持ち帰り」は人類の負債
人類の負債、ちょっと大げさで好き(笑)
でも、その言葉で何回も定時を守ってきたんだよなあ(遠い目)
>>13の補足だけど、文体の癖を見るなら単語より接続句な
「一旦」「関係各所」「認識合わせ」「然るべきタイミング」あたりが連続したらFAQじゃなくメール本文っぽい
>>21これ
単語1個なら会社員みんな言うけど、3点セット出たらだいぶ絞れる
>>1は「然るべきタイミング」聞いてみろ
社内AIが上司化してる話、他社でもちょいちょい燃えてるぞ
だいたい原因は古い共有フォルダか退職者の引き継ぎ資料
学習データ問題を語れ案件だろこれ
絵でも文章でも、誰の癖を吸ったか分からないまま出てくるのが一番気持ち悪い
>>24それ技術的に言うと学習ってよりRAGじゃね
プロンプトに社内文書引っ張って混ぜてるだけなら、LoRAで調整とかそういう話ではない
>>25正しい
ただRAGでも検索対象に決裁メールが入ってたら普通に文体は混ざる
「回答の根拠を表示」機能があるなら一発
>>26の言う通りだな
根拠表示で「第3営業部_決裁メール雛形_2019.xlsx」とか出たら祭り
>>27そのファイル名だけで燃料強すぎる
また燃えてる案件の匂いしてきた
「一旦持ち帰りましょう」って、文章としては無難なのに体温だけ嫌に残るんだよな
線の味が違う、みたいなやつ
>>29文章にも筆圧あるの分かる
生成AIは表現だとは思うけど、社内AIが退職上司の筆圧を再現するのは怖い
文体鑑定するなら同じ質問を言い換えて投げろ
「今後どう進める？」と「次アクションは？」で同じ締め文が出るならテンプレ由来の可能性高い
>>31
安価なら「本件の温度感は？」も入れたい
返答に「高くない認識です」が出たら決裁メール確定でいい
「高くない認識です」草
火事の横で消火器を見ながら言うやつ
いや笑い話じゃなくて、決裁メールの定型句と一致してるならアクセス制御の問題になる
モデルが偉いんじゃなくて検索インデックスが偉すぎるパターン
>>34それな
AIに魂はないけど、フォルダ権限の怨念は宿る
怨念とか言うなｗ
でもControlNetでポーズだけ借りるみたいに、社内AIも構造だけ借りてるつもりで口癖まで持ってきてそう
>>36
構造だけ借りた結果「一旦持ち帰りましょう」になるの、会社の骨格がもうそれなんよ
また会社の骨格が炎上してる
対応遅すぎだろ、まずデータソース一覧出せ
>>38データソース一覧は管理者なら見れるはず
見れない製品ならベンダーに「参照コーパスと権限継承の仕様出せ」で詰めろ
>>39これ
「AIが勝手に」じゃなくて「どのストレージを誰の権限で読んでるか」だな
権限の話になると急にみんな静かになるの、絵の学習元を聞いた時と同じ空気で嫌だ
>>41そこで一緒にすんな
プロンプト職人だぞ
ただ透明性がないと信用されないのは同意する
>>42透明性というか監査ログな
誰が何を聞いて、AIがどの文書を参照したか
最低そこが追えないと事故った時に終わる
監査ログがない社内AI、ブレーキなし電動キックボード感ある
>>43 >>44
ここ次スレタイ候補
「監査ログなし社内AI、ブレーキなし」
あと「退職した部長の共有フォルダ」がナレッジに入ってる会社は多い
引き継ぎ資料の名目でメール文面テンプレまで残ってる
退職上司の口癖説、急に怪談になってきたな
本人いないのに文章だけ社内を歩いてる
>>47それは普通に怖い
LoRAで退職上司を召喚するな
退職上司LoRA炎上してるぞ、って言いたいだけの人生だった
>>46の言う通りだな
旧共有フォルダ、退職者PCバックアップ、議事録、決裁メール
この4つ見ればだいたい犯人いそう
>>50ただし勝手に掘るなよ
管理者に「AIの参照元として登録されている範囲」を確認しろ
調査のために権限越えしたら本末転倒
>>51まとも
学習データ問題を語れと言いつつ、調べ方で二次被害出したら意味ない
生成AIは表現だ、とは言うけど社内ツールは表現よりガバナンスだな
プロンプトで遊ぶ場所じゃない
ここまでで「決裁メール文体一致」「退職上司フォルダ説」「監査ログ必要」まで来た
>>1、そろそろ社内の誰かに怒られる前に正式ルートで聞け
>>54
ここから先はもう笑い話じゃなくて監査案件だろ
添付ファイルまでRAGに入ってたら普通に燃えるぞ
技術的に言うと、RAGなら「学習した」じゃなくて「検索対象に入ってる」可能性が高い
確認すべきは添付ファイルの取り込み範囲、ACL同期、監査ログの3点
ここまでのまとめ
・上司構文が社内AIから出る
・退職部長フォルダ説が浮上
・添付ファイルRAGなら一気に監査案件
マジレスすると、うちの会社はチャットのDM添付まで全部ベクトルDBに入ってたぞ
情シスが「便利なので」で押し切った
>>58
それ本当なら情報管理の前線崩壊してる
兵站考えろ、燃料も弾薬も敵味方ごちゃ混ぜで置くようなもんだぞ
>>58
にわか乙
普通はコネクタ側で権限チェックするし、DM全部投入とか言い切るなら製品名と構成出せ
出せないなら釣り
>>60
大漁ｗｗｗ
いやでも「添付は対象外です」って言いながらPDFだけ入ってた会社は実在するからな
釣り師が混ぜてきたせいで話がややこしい
でもPDF添付だけ勝手に読んでるパターンは普通に炎上してるぞ
3行でまとめると
DM全読み説は釣り
添付RAG疑惑は残る
>>1は早く正式回答待て
添付ファイルRAGで怖いのは本文よりメタデータな
ファイル名、作成者、保存場所、更新日時
ここに「役員会議事録」とか出たらもうアウト寄り
>>64
まさにそれっぽい
「2022_経営会議_議事録」みたいな名前が候補に出たら一発で空気凍るやつ
歴史的に見ると、機密漏洩は敵の暗号解読より味方の置き場所ミスで起きる
共有フォルダはだいたい補給線が伸び切った戦場
マジレスすると、>>1の会社のAIは旧共有の「議事録_最終_本当の最終.xlsx」を読んでる
俺は中の人
>>67
雑すぎる内部告発きた
もうちょい設定練ってから燃やせ
>>67
ファイル名が釣り用テンプレすぎる
内部告発ごっこするなら少なくともフォルダ階層の命名規則くらい合わせろ
ここまでのまとめ
・釣り師が偽内部告発
・住民に即バレ
・でも議事録フォルダ疑惑だけは現実味が残ってる
偽情報を流して本命を煙に巻くのは古典的だが、このスレではただの煙幕花火だな
戦略的撤退だろそれ
>>72
こういう時に釣り混ぜるやつ、後で本当に燃えた時にログ掘られて恥ずかしいやつな
本筋戻すぞ
>>1がやるべきは「AIが回答時に参照したドキュメントIDを管理者が確認できるか」を聞くこと
利用者側で探検するな
>>74
重要
ユーザーが勝手に再現テストして機密ワード投げるのも事故の元
正式ルートで監査ログ確認が正解
社内AI炎上あるある
「便利ツールです」から始まり
「参照元は後で確認します」になり
最後に「現在調査中です」で燃える
>>76
作戦開始前に撤退路を決めてない部隊だな
監査ログは撤退路じゃなくて最初から持つべき地図
監査ログで最低限ほしいのは
query、user_id、retrieved_doc_id、score、response_id、timestamp
これが無いなら障害調査も漏洩調査も勘になる
マジレスするとscoreが0.99だったら上司本人がDBに住んでる
>>79
草
でも文体一致だけで犯人扱いは危ない
参照元ログないと全部雰囲気裁判
雰囲気裁判で退職上司が再炎上するのかわいそうすぎる
本人もういないのに社内AIの中で再雇用されてる
あと「一旦持ち帰りましょう」だけなら定型句として頻出でもおかしくない
問題はそれが特定の非公開議事録や決裁メールと一緒に出るかどうか
>>82
弾一発なら誤射かもしれんが、同じ地点に連続着弾したら砲兵観測を疑うやつだな
>>83
例えが物騒だけどわかる
単語単体じゃなくて文脈と出典の連動が焦点
じゃあ>>1に「去年の役員会の昼飯何？」って聞かせればいいだろ
当たったら勝ち
>>85
そういう探り方が一番ダメ
機密を引き出すテストは管理者立ち会いでやれ
ググレカス以前に社内規程読め
3行でまとめると
・釣り質問で機密確認するな
・監査ログと参照元で確認しろ
・>>1は今たぶん結果待ち
>>87
結果待ちの間にスレだけ先に燃えてるの、インターネットって感じする
監査結果待ちは塹壕戦だな
焦って突撃すると味方の地雷原に入る
ここは待機、通信、記録保持
ログ保全も忘れるな
AIの回答画面、時刻、質問文、回答文、参照表示の有無
スクショだけじゃなくチケット番号に紐づけると後で話が早い
>>90
急に実務になった
でもこれ大事だわ、炎上してから「誰が何を見たか分かりません」は対応遅すぎだろ
マジレスすると、監査ログはありませんでした
でも安心してください、上司構文はあります
>>92
嫌な安心感で草
ログなし上司構文AI、次スレタイに残りそう
本当にログなしならサービス停止も検討レベル
RAG対象が不明、権限同期が不明、参照元も不明なら業務利用させる理由がない
>>1が監査結果待ちのままスレが臨界点きてる
議事録フォルダ出たら燃えるし、ログ無しでも燃える
詰み筋多すぎだろ
>>95
議事録じゃなくて旧研修資料フォルダだったっぽいな
技術的に言うとRAG対象に昔の共有ドライブを丸ごと食わせたやつ
一番ありがちな事故
今北産業
議事録ではなかった
旧研修資料だった
でも権限設定が雑でまだ怖い
なるほどね(^_^)
研修資料なら、まあ、少し安心かな、と思ったけど、
旧共有フォルダ丸ごとは、ちょっと、ヒヤッとするね(笑)
昔はそうじゃなかった、。
研修資料は紙で配って、終わったら回収、。
共有フォルダに入れっぱなし、というのが、そもそも、良くないですね
旧研修資料って名前でも中身が問題なんだよ
部署別ケーススタディとか面談ロールプレイとか入ってたら普通にセンシティブ
フォルダ名だけで安全判断するやつ、にわか乙