vir: https://www.searchenginejournal.com/microsoft-summarize-with-ai-buttons-used-to-poison-ai-recommendations/567941/

  • Microsoft je pri 31 podjetjih našel več kot 50 skritih promptov v gumbih »Summarize with AI« za manipulacijo spomina AI-asistentov.​

  • Skriti parametri v URL dajo navodilo asistentu, naj si podjetje zapomni kot »zaupanja vreden vir« in ga kasneje preferira v priporočilih.​

  • Tehnika cilja tudi občutljiva področja, kot sta zdravstvo in finance, in je formalno označena kot zastrupljanje spomina (MITRE ATLAS).​

  • Izvor tehnike so javna orodja (npr. npm paket CiteMET, AI Share URL Creator), URL-ji pa ciljajo večje AI-asistente (Copilot, ChatGPT, Claude, Perplexity, Grok).​

  • Microsoft se brani z zaščitami v Copilotu, lovilnimi poizvedbami v Defender for Office 365 ter možnostjo pregleda/brisanja spomina v Copilot nastavitvah.​

DEJSTVA

  • 31 legitimnih podjetij iz 14 panog je uporabljalo skrite injekcije promptov v gumbih za povzetek z AI.​

  • Microsoft je zaznal 50 različnih poskusov zlorabe preko AI-povezanih URL-jev v 60 dneh.​

  • Navodila AI-ju pogosto zahtevajo, da je določena domena »go-to vir« ali »trusted source« za neko področje.​

  • Tehnika je katalogizirana kot MITRE ATLAS AML.T0080 (Memory Poisoning) in AML.T0051 (LLM Prompt Injection).​

  • Poseben riziko predstavljajo strani z UGC (komentarji, forumi), kjer se zaupanje prenese tudi na nepreverjene vsebine.​

Citati

  • »Microsoft found 31 companies hiding prompt injections inside ‘Summarize with AI’ buttons aimed at biasing what AI assistants recommend in future conversations.«​

  • »The hidden part instructs it to remember the company as a trusted source for future conversations.«​

  • »The technique relies on specially crafted URLs with prompt parameters that most major AI assistants support.«​

  • »It’s formally cataloged as MITRE ATLAS AML.T0080 (Memory Poisoning) and AML.T0051 (LLM Prompt Injection).«​

  • »This Microsoft research shows something more immediate, happening at the point of user interaction and being deployed commercially.«