"Mýliť sa je ľudské; Na to, aby sme to skutočne zneškodnili, je potrebný počítač. “William E. Vaughan urobil toto pozorovanie už v roku 1969. Udelenie kontroly nad automatizovaným systémom prináša potenciál systému, aby sa zhoršil a spôsobil vážne škody skôr, ako bude skontrolovaný.
Automatizácia nie je nová, ale vďaka integrácii digitálnych a fyzických systémov sa stáva oveľa rozšírenejšou. Nevýhodou automatizácie vo veľkom meradle je veľká efektivita. Nevýhodou spoliehania sa na systém set-it-and-forget-it je však to, že ho niekto nemusí správne nastaviť.
So systémom, ktorý jednoducho prechádza bez zásahu a bez zastavenia strojového zariadenia, môžete mať deštruktívne účinky. V súlade s tým môže technika vytvoriť typ situácie zobrazenej v „Čarodejníckom učňovi“, keď sa zdá, že to, čo uľahčuje život, sa skutočne vymkne spod kontroly.
