Як виміряти все, що завгодно. Дуглас Хаббард. Короткий виклад

Сучасну людину оточує величезне і щедре інформаційне поле. Однак коли ми стикаємося з якимись реальними проблемами, зав'язаними на необхідність «дізнатися те-то» і «виміряти те-то», то регулярно виявляється, що ми або пасуємо перед уявними труднощами і поводимося так, немов подібної інформації не існує, або ж вирішуємо прикинути «на очок», при цьому ми навіть не можемо уявити собі, скільки на цьому втрачаємо грошей, часу і ресурсів, - бо щоб дізнатися це, нам треба було виміряти те, від вимірювання чого ми якраз і відмовилися! Причому ця проблема існує на всіх рівнях - від дрібного приватного підприємства до найбільших державних структур. На цій сторінці ми і проект smartreading.ru представляємо вам короткий виклад книги Дугласа Хаббарда «Як виміряти все, що завгодно», де і розглядаються можливі рішення цієї проблеми.

Правда полягає в тому, що будь-яке завдання з вимірювання, якою б складною, заплутаною або погано сформульованою вона не була, піддається вирішенню тими чи іншими методами.

Більше того: навіть якщо не можна (або безглуздо) перерахувати якісь об'єкти, фінанси або, припустимо, симпатії споживачів, звівши результат до єдиного конкретного числа, можна як мінімум зменшити інтервал розкиду - отримавши, таким чином, набагато більше визначеності в тому питанні, від якого залежить грамотне прийняття рішення.

А ще одна сторона правди полягає в тому, що ви насправді знаєте куди більше, ніж вам самим здається. Просто треба розуміти, як саме можна застосувати ці знання.

Про те, як дізнатися невідоме раніше і стати куди більш кваліфікованим експертом в оцінці чого б то не було, і розповідає ця книга.

1. Вимірювання: рішення існує

1.1. Виміряти можна все, що завгодно, - за умови, що вимірюваний об'єкт, фактор або явище взагалі існує. Дані вимірювання можна зробити економічно обґрунтованими способами. Навіть якщо такі вимірювання будуть приблизними, вони все одно дають більше інформації, ніж ви знали про цей об'єкт або явище досі, - а значить, вони можуть мати сенс.

1.2. Є два основних тлумачення слова «нематеріальне», і їх не треба змішувати. Якщо мова йде про речі, які не є тілесними, відчутними, то вони, звичайно ж, існують. Якщо ж слово «нематеріальний» вживається у значенні «не піддається ніякому виміру», то це невірне тлумачення.

Приклади нематеріальних (у першому значенні) речей: час; бюджет; право власності на патент; «гнучкість», необхідна у створенні нових продуктів; ризик невдачі при реалізації проекту; ефект, який нова політика держави чинить на здоров'ї населення; ефективність наукових досліджень; вартість інформації; ймовірність того, що та чи інша політична партія переможе в боротьбі за Білий дім; якість; думка громадськості тощо.

1.3. Багато хто, вважаючи, що «нематеріальне» не піддається виміру, приймає невигідні для себе рішення. Багато важливих факторів при оцінці не враховуються через те, що люди не розуміють, як цю потенційну вигоду (або ж потенційний збиток) підрахувати: подібний розрахунок вважається неможливим. Верх беруть слабкі, але більш очевидні в оцінці пропозиції.

1.4. Щоб показати, що таке якісна робота з проведення кількісних вимірювань, можна навести приклади відомих людей, які інтуїтивно вирішили подібні завдання і знайшли для цього дивовижно прості способи.

Ератосфен першим виміряв довжину кола Землі. У нього не було геодезичного обладнання або даних із супутників, він не брав участі в навколосвітній подорожі. Але він дізнався, що дно глибокої криниці в Сієні (Південний Єгипет) повністю освітлюється сонцем опівдні раз на рік (значить, сонце знаходиться прямо над колодязем). В Александрії ж (на північ від Сієни) цього дня вертикальні предмети відкидають тінь. Ератосфен вирішив використовувати цю інформацію для вимірювання кривизни Землі. Вважаючи, який кут утворюють полуденні тіні в Олександрії і знаючи відстані між двома містами, давньогрецький вчений фантастично точно для свого часу визначив довжину земної окружності: похибка його оцінки становила лише 5,3%, а уточнити результат Ератосфена зуміли тільки наприкінці XVIII століття.

Це прекрасний приклад того, як можна отримати всю можливу інформацію з відомих або легко перевірених фактів, нездійсненні ж спостереження можна замінити дотепними розрахунками.

Італійський фізик Енріко Фермі неодноразово демонстрував талант до інтуїтивних вимірювань. Так, при випробуванні атомної бомби на полігоні, де Фермі разом з іншими вченими спостерігав за вибуховою хвилею, він для вимірювання її потужності розірвав на дрібні шматочки сторінку з блокнота і підкинув обривки в повітря. Далі він виміряв, на яку відстань були віднесені шматочки паперу і, провівши нескладні обчислення, уклав, що потужність вибухової хвилі була як мінімум більше 10 кілотонн. Цікаво, що куди більш складна апаратура показувала лише верхню межу потужності; у результаті вона була оцінена в 18,6 кілотонн. Непогана точність для декількох клаптиків паперу!

Швидким оцінкам всього, що тільки можна, Фермі вчив і своїх студентів. Найвідоміший приклад - визначення числа налаштувальників піаніно в Чикаго. Коли студенти сказали, що у них немає для розрахунку ніяких даних, Фермі попросив визначити інші показники, що мають відношення до піаніно і налаштувальників: чисельність населення Чикаго, середня кількість осіб в одній сім'ї, відсоток сімей, які регулярно користуються послугами налаштувальників, необхідна частота налаштування, число піаніно, налаштовуваних налаштовувачем за день, і число робочих днів налаштувальника в році.

Навіть приблизні дані дозволяють скористатися формулою:

Число налаштовувачів піаніно в Чикаго = (Кількість населення/Число членів однієї сім "ї) x Відсоток сімей, які користуються послугами налаштувальників x Число налаштувань у році/( Число піаніно, налаштованих одним налаштувальником за день X число робочих днів у році).

Відповідно, з поправками на невизначеність у тому чи іншому показнику виходив інтервал 20-200 (при тому що правильна відповідь - близько 50 осіб).

На цьому прикладі видно:

- навіть досить широкий отриманий інтервал - великий крок вперед порівняно з «неможливістю виміряти взагалі»;

- такий підхід дозволяє зрозуміти, які змінні мають найбільшу невизначеність (відсоток сімей, частота налаштувань, число робочих днів налаштувальника або щось ще); а найбільше джерело невизначеності - пряма вказівка на те, що треба міряти в першу чергу, щоб максимально уточнити саме цей показник;

- завжди треба подумати, що ж ви все-таки знаєте про проблему, - ви напевно про неї знаєте хоча б щось!

Американська дев'ятирічна школярка Емілі Роза, побачивши фільм про лікування безконтактним масажем (впливом на «енергетичні поля» пацієнта), вирішила перевірити достовірність цього методу. Вона залучила до експерименту лікарів, які практикують безконтактний масаж, і зробила таке. Лікар сидів навпроти Емілі, відокремлений від дівчинки непрозорим екраном, внизу його були отвори, куди проходили руки цілителя. Емілі кидала монетку і в залежності від того, випадав орел або решка, поміщала свою руку над правою або лівої руки медика. Лікар повинен був визначити, над якою їх рукою знаходиться її рука (адже якщо лікар береться лікувати, впливаючи на «енергетичне поле», він як мінімум повинен його відчувати). З 280 спроб правильно визначити положення руки це вдалося тільки в 44% випадків - тобто цілителі потрапили на кордон нижньої межі за теорією ймовірності (44-66%). Відповідно, ні про яке «енергетичне поле» не йдеться.

Цей приклад показує кілька речей:

- найбільш «ефемерні» фактори (якщо вони взагалі існують і мають якесь значення) повинні мати наслідки, які можна виявити;

- найпростіші методи - експеримент в контрольованих умовах, вибірка, рандомізація, випробування «наосліп» - ефективні і дозволяють уникнути необ'єктивності.

Більш того, такі найпростіші експерименти здатна провести навіть дитина.

1.5. Незмірність нематеріального - це лише ілюзія. Така омана базується на помилкових уявленнях про:

- сутності виміру (багато хто погано уявляє собі, що це таке);

- об'єкті вимірювання (щоб взагалі щось міряти, треба уявляти, про що йдеться; а цьому можуть перешкодити, наприклад, неточність і неоднозначність термінів);

- методи вимірювання (багато з них маловідомі, і люди просто не в курсі, що неабияка кількість «невимірних» речей вже кількісно оцінені).

1.6. Крім цього, існує переконання, що в ряді випадків проводити кількісну оцінку взагалі не слід. Причини, якими це обґрунтовують:

- економічні (оцінка потребуватиме занадто великих витрат
); (мовляв, «за допомогою статистики можна довести все, що завгодно», а значить, і робити це безглуздо), -
морально-етичні (оцінювати деякі речі просто аморально).

З цих трьох причин осмисленими бувають лише економічні заперечення - проте куди рідше, ніж вони висуваються.

1.7. Сутність вимірювання аж ніяк не завжди зводиться до того, щоб отримати одну конкретну цифру. Вимірювання не зобов'язане видавати тільки і виключно точну величину. Вимірювання - це сукупність знижуючих невизначеність спостережень, результат яких виражається певною величиною.

1.8. Більше того, вимір не завжди навіть тягне за собою кількісну оцінку. Результат вимірювання повинен виражатися певною величиною, де невизначеність - число, а об'єкт спостереження може виражатися і якісно: наприклад, у вигляді належності до категорії. Ми можемо виміряти, чи отримає компанія патент, чи відбудеться злиття двох фірм, чи якою буде стать ембріона - при цьому невпевненість у результатах буде становити якусь кількість відсотків (ймовірність отримання патенту - 80%, ймовірність поліпшення іміджу компанії після злиття - 93% тощо).

1.9. Одне з джерел помилок при оцінці - різні шкали вимірювань:

- номінальні шкали застосовуються до однорідних одиниць; так що 4 камені по 1 тонні вагою в сумі дають 4 тонни;
- порядкові шкали на зразок чотиризіркової системи оцінки кінофільмів дозволяють стверджувати, що одна величина більше іншої; так, не можна сказати, що від перегляду чотирьох однозіркових фільмів буде стільки ж задоволення, як від перегляду одного чотиризіркового.

1.10. Перед початком вимірювання обов'язково необхідно сформулювати, що треба виміряти - що конкретно мається на увазі, наприклад, під інформаційною безпекою, стратегічною узгодженістю або задоволеністю споживачів. Для цього можна використовувати, наприклад, «ланцюжок уточнень». Адже якщо об'єкт X важливий, то він повинен у чомусь проявлятися; значить, він призводить до якихось наслідків в якійсь кількості; значить, це можна виміряти.

Точне визначення об'єкта - це вже половина роботи з вимірювання.

1.11. Існує багато методів вимірювання, що дозволяють працювати з різними завданнями, наприклад:

- вимірювання при малій випадковій вибірці (наприклад, навіть від невеликого числа споживачів або працівників ви можете дізнатися важливі речі в умовах великої невизначеності)
оцінка безлічі об'єктів, які не можна безпосередньо перерахувати (наприклад, чисельність тих чи інших риб в океані, рослин одного виду в джунглях, необзовєних спроб злому системи тощо)
вимірювання при безлічі змінних, включаючи невідомі (припустимо, при визначенні причини зростання продажів)
оцінка ризику настання малоймовірних подій (ймовірність падіння метеорита або повторення теракту 11 вересня 2001 року)
оцінка вартості будь-чого (предметів мистецтва, вільного часу, підвищення особистої безпеки...) на основі того, скільки люди готові за це заплатити.

До числа неочевидних методів вимірювання відноситься, наприклад, правило п'яти. Існує 93-відсоткова ймовірність того, що в будь-якій випадковій вибірці медіана для всієї сукупності знаходиться в інтервалі між найменшим і найбільшим значеннями.

Тобто якщо зробити навмання п'ять вимірювань (наприклад, опитати п'ятьох співробітників компанії, скільки часу вони витрачають на дорогу додому), то з 93-відсотковою ймовірністю справжня медіана значень (те, скільки в середньому витрачає на дорогу співробітник) опиниться в цьому інтервалі значень (навіть якщо в нашій компанії працює кілька тисяч осіб).

Правило п'яти демонструє, що можна уточнити дані, використовуючи і надзвичайно малу вибірку.

1.12. Чотири корисні передумови вимірювання

- Ваша проблема не так унікальна, як вам здається: проблеми вимірювання насправді досить стандартні, і ними вже майже напевно займалися.
- У вас набагато більше інформації, ніж ви припускаєте, а необхідні вам дані хоча б частково доступні. Просто
подумайте, де їх можна знайти. Згадайте Ератосфена.
Існує зручний спосіб вимірювання, який набагато простіший, ніж ви уявляєте. Перший спосіб, що прийшов вам в голову, - нерідко найважчий. Виявіть винахідливість і знайдіть простіший.

1.13. Просто почніть вимірювати те, що вам потрібно. Вам необов'язково відразу домогтися видатних результатів - важливіше зменшити невизначеність. Ви також можете коригувати метод вимірювання.

1.14. Вимірювання не треба проводити, якщо витрати на їх проведення перевищують очікувані вигоди. Але не все і потрібно вимірювати. У кожному випадку лише кілька ключових змінних мають значення. Інформаційна цінність інших рівна або практично дорівнює нулю. При цьому треба пам'ятати, що в ряді випадків, коли ви ризикуєте грошима і в розрахунках залежите від дії фактора з великою невизначеністю, то навіть невелике зниження невизначеності може окупитися.

Припустимо, ви збираєтеся витратити великі кошти на поліпшення якогось продукту - в розрахунку на те, що його продажі в такому випадку можуть зрости на 12%. При цьому витрати окупляться тільки в тому випадку, якщо обсяги продажів підвищаться не менше ніж на 9%. Це типовий приклад ситуації, де попередня оцінка має високу цінність. Далі справа стоїть тільки за тим, щоб вибрати метод, що виправдовує витрати на вимірювання.

1.15. «Антистатистичні» міркування зазвичай є наслідком нерозуміння основ статистики, основ теорії ймовірності, ризику і вимірювань в цілому (що притаманно навіть фахівцям). Так, кажучи «За допомогою статистики можна довести все що завгодно», люди мають на увазі не статистику, а використання цифр, не зовсім «що завгодно» або не зовсім «довести». Сенс приказки - «цифрами можна збити з пантелику людей, особливо легковірних і тих, хто не в ладах з математикою». Але чому це повинно заважати вимірюванням?

1.16. Етичні аргументи зводяться до того, що деякі вимірювання «антигуманні» (наприклад, вимірювання вартості зникаючих видів тварин або людського життя). Однак оскільки ресурси (наприклад, що виділяються на охорону навколишнього середовища) в кожному конкретному випадку обмежені, питання доцільності тих чи інших витрат завжди актуальне. Більше того, навіть якщо принципово відмовлятися від будь-яких вимірювань таких делікатних речей, уникнути оцінки все одно не вдасться.

Скільки необхідно витратити зусиль на порятунок життя 99-річної хворої людини - стільки ж, скільки на порятунок здорової п'ятирічної дитини? Більше? Менше? Будь-яка відповідь буде наслідком того чи іншого виміру відносної вартості життя кожного з них.

2. Перш ніж приступити до вимірювань

2.1. При всій різноманітності завдань є універсальний підхід до вимірювання чого б то не було. Щоб скористатися ним, треба відповісти на такі питання:

- Що ви намагаєтеся виміряти (тобто що являє собою об'єкт вимірювання)?
- Для чого ви хочете це виміряти? Яким має бути «порогове значення» визначеного показника?
- Яку цінність матиме отримана інформація? До яких наслідків призведе помилка (і яка її ймовірність)? Які зусилля щодо вимірювання будуть економічно виправдані?

Які інтервали або ймовірності являють собою нинішню невизначеність (ще до вимірювання)?
- Які спостереження дозволять підтвердити або виключити ті чи інші можливості
?

Перші три пункти дають можливість зрозуміти, чи потрібно взагалі вимірювати те, що планується: адже якщо результати вимірювання хоч скільки-небудь значущі, то вони вплинуть на ваші рішення і лінію поведінки надалі. Якщо ж це не так - то вимір не має ніякої цінності і проводити його не слід.

Припустимо, ви хочете оцінити якість продукту. Для початку треба з'ясувати, що мається на увазі під словами «якість продукту» і відповісти собі, на що вплине результат оцінки. Якщо мова про зміну виробничого процесу, то наскільки низькою має виявитися якість продукту, щоб ви прийняли таке рішення? Якщо мова про преміювання співробітників, то за якою формулою будуть розраховуватися премії?

2.2. Для того щоб вести вимірювання, потрібно вміти оперувати поняттями «невизначеність» і «ризик».

Невизначеність - існування більш ніж однієї можливості, через що справжній результат (число, стан, наслідки, вартість) невідомий. Показник невизначеності - ряд ймовірностей, що співвідносяться з низкою можливостей. «Є 60% ймовірності, що ринок Х за п'ять років більш ніж подвоїться, 30% - що він зросте, але менш ніж удвічі, і 10% - що він скоротиться».

Ризик - стан невизначеності, коли до числа можливостей входять небажані результати: збитки, катастрофи тощо. Показник ризику - ряд небажаних можливостей, що співвідносяться з кількісними ймовірностями і кількісно певним збитком. «40% ймовірності, що в свердловині не опиниться нафти, і збиток складе 12 млн доларів через витрати на розвідувальне буріння».

2.3. Це допомагає в подальшому з визначеннями об'єктів вимірювань. Так, розпливчасте «безпека підвищилася» означає, що окремі ризики знизилися - тобто або зменшилася ймовірність настання небажаних подій, або зменшився масштаб пов'язаної з ними шкоди. Що вже можна порахувати досить точно.

Наприклад, ми виділяємо із загального «необхідно підвищити безпеку» один конкретний момент - вірусні атаки на організацію. Використовуючи метод Фермі, ми з'ясовуємо відповіді на запитання:

Скільки
людей страждає від такої атаки?
- Як знижується ефективність роботи цих людей внаслідок атаки?
- Як довго ефективність залишається зниженою
?

Далі можна розрахувати, у що обходиться компанії вірусна атака, за такою формулою:

Середньорічні збитки від вірусних атак = Число атак х Середня кількість постраждалих співробітників х Середнє зниження ефективності х Середня тривалість простоїв х Річні витрати на оплату праці/2080 годин на рік.

2.4. Щоб зрозуміти, що саме відомо про щось ще до вимірювань, потрібен спосіб якось висловити це саме знання. Крім того, треба ще й зрозуміти, наскільки добре ми можемо висловити невизначеність. Один з способів показати це - визначити величину у вигляді інтервалу можливих значень.

Наприклад, ви не знаєте точно, скільки у вас буде клієнтів завтра, але думаєте, що договори підпишуть не менше трьох і не більше семи осіб. Якщо у вас існує впевненість у цьому на 90%, то можна стверджувати, що ваш 90-відсотковий довірчий інтервал становить 3-7.

2.5. Далі треба дізнатися, наскільки добре ми суб'єктивно оцінюємо ймовірності. Для цього потрібно результати, що очікувалися раніше, порівняти з фактичними.

У суб'єктивної оцінки найчастіше спостерігаються дві крайності: надмірна і недостатня впевненість. Відповідно, при оцінці 90-відсоткового довірчого інтервалу в його межах виявляються або набагато менше правильних відповідей, або набагато більше.

2.6. Калібрування відповідей, достовірна оцінка ймовірності - це навичка, якої можна навчитися. Для початку треба визначити, надмірно ви впевнені у своїх припущеннях або недостатньо. Для цього існує ряд вправ, у тому числі наведених у книзі.

Краще бути приблизно правим, ніж точно неправим.

Воррен Баффетт

2.7. Ризик можна висловити кількісно, задавши інтервали значень невизначеностям, які пов'язані з витратами і вигодами від рішення. Коли ви точно знаєте суму і терміни здійснення витрат і отримання вигод, ризик не існує. Але зазвичай про вигоди і витрати ми знаємо інтервали, а не точні параметри. Для роботи з оцінкою ризику служить моделювання методом Монте-Карло.

Для використання моделі Монте-Карло необхідні:

- калібровані фахівці (в ідеалі - ті, що пройшли сертифікацію),
- добре задокументована процедура побудови моделей від вихідних оцінок;
- єдиний набір комп'ютерних інструментів.

2.8. Парадокс ризику: навіть якщо організація застосовує кількісний аналіз ризиків, то найчастіше це робиться для прийняття повсякденних, маловажливих рішень. Найсерйозніші і небезпечні рішення, як правило, приймаються без повноцінного аналізу ризику.

Англійський теоретик менеджменту Чарлз Хенді:

"Перший рівень - міряти все, що легко піддається вимірюванню. Цей підхід не викликає заперечень. Другий - відкинути те, що важко вимірюється, або приписати йому довільне кількісне значення - штучний, що відводить у бік шлях. Третій рівень - припустити, що все важковимірне не має значення. Це страусина політика. Четвертий етап - сказати, що вимірюване насилу взагалі не існує. Це самогубство ".

2.9. Три основні причини цінності інформації для бізнесу:

інформація знижує невизначеність у рішеннях, що мають економічні наслідки, -
інформація впливає на поведінку людей, що також має економічні наслідки; -
часом інформація сама по собі володіє ринковою вартістю.

При цьому спостерігається інверсія вимірювань:

- вартість інформації про переважну більшість змінних дорівнює нулю (вже існуючий рівень невизначеності для них прийнятний, подальші вимірювання економічно недоцільні);

- найвище вартість інформації про ті змінні, які організації зазвичай не оцінюють, і в обґрунтуванні проектів ці важливі величини не визначаються;

- вартість інформації про змінні, на чиє визначення зазвичай витрачається найбільше часу і коштів, або невелика, або дорівнює нулю (їх уточнення практично не впливає на прийняті рішення).

Відповідно, якщо ви хочете якісного поліпшення - зверніть увагу на змінну, яку раніше ігнорували. Це може змусити вас змінити прийняті раніше рішення або суттєво відкоригувати їх.

Параметри різних проектів і пріоритети вимірювань, прийняті в більшості організацій (від тих, що володіють мінімальною вартістю і вимірюються найчастіше до володіють максимальною вартістю і вимірюються найрідше):

-
Довгострокові витрати (на розробку, постачання тощо);
- Вигоди від економії, крім зростання продуктивності праці (зниження енергоспоживання, економія сировини і матеріалів, скорочення капітальних витрат тощо



);

2.10. Вимір - процес не разовий, а ітеративний, тому треба розбити весь процес на кілька етапів і підбивати підсумки кожного з них. Найцінніша інформація виходить на початковому етапі вимірювань.

2.11. Вартість інформації має значення. Необхідно заздалегідь визначити цю вартість - інакше неминучі помилки у вимірах.

3. Методи вимірювання

3.1. Практично для будь-якого виміру краще використовувати відповідні інструменти (навіть з поправкою на те, що вони завжди дають якусь похибку).

Переваги інструментів:

інструменти виявляють те, що ви не можете помітити; -
інструменти більш послідовні, ніж люди (вони не покладаються на свої почуття);

інструменти можна калібрувати для обліку помилки вимірювання більш точно, ніж людей, і нерідко похибка інструменту можна компенсувати регулюванням; -
інструменти навмисно ігнорують все, що спотворює результати спостереження, проведеного неозброєним оком; -
інструменти реєструють все необхідне; -
інструменти вимірюють швидше і дешевше, ніж людина.

3.2. Щоб вибрати відповідну категорію методів вимірювання, треба поставити собі кілька запитань:

- Які складові цікавого об'єкта? Їх треба розкласти так, щоб за ними (з їх власними невизначеностями) оцінити ціле.
- Як цей об'єкт або його складові вимірювалися раніше? Можливо, люди вже стикалися з таким завданням і вже є дослідження на цю тему
.
Як їх спостерігати? Треба прийняти в розрахунок нинішню ступінь невизначеності, поріг і вартість інформації
. Яким чином спостереження можуть ввести в оману
?

3.3. Розкладання на складові досить ефективне. По-перше, будь-який об'єкт обчислення є функцією інших, більш легких для оцінки величин (див. приклади з Ератосфеном і Фермі). Так, розкладання особливо корисне при оцінці витрат на реалізацію великого проекту або при прогнозуванні зростання ефективності. По-друге, стає очевидно, що невизначеність вихідного значення пояснюється, як правило, незнанням 1-2 показників (з них і треба починати). По-третє, сам процес розкладання на складові часто дає таке серйозне зниження невизначеності, що подальші вимірювання стають непотрібними.

3.4. Будь-яке дослідження має починатися з вторинних досліджень. Ваша проблема майже напевно не унікальна.

Декілька порад щодо використання Інтернету для вторинних досліджень:

- Якщо предмет дослідження абсолютно незнайомий, починайте з онлайнової енциклопедії Wikipedia. Навіть якщо сама стаття може бути спірною, вона містить посилання на інші сайти, там нерідко наводиться кілька точок зору тощо.

- Шукайте за словами, що асоціюються з дослідженнями і кількісним аналізом: «таблиця», «опитування», «контрольна група», «кореляція» і «стандартне відхилення», а також «університет», «доктор наук» і «загальнонаціональні дослідження».
- В Інтернеті є сховища спеціальної інформації. Заходьте на сайти галузевих або наукових журналів, сайти міністерств тощо. Окремо автор рекомендує сайт ЦРУ (у «World Fact Book» - «Всесвітній книзі фактів ЦРУ» - містяться найрізноманітніші дані міжнародної статистики
). Автор, крім Google, користується clusty.com і yahoo.com.
- У дослідженнях не зовсім по своїй темі, де згадується питання, що вас цікавить, обов'язково дивіться бібліографію. Її вивчення часом найкращий спосіб знайти потрібні дані.
- Використовуйте «меш-апи» - програмні програми, що інтегрують дані з декількох джерел для представлення їх на одній сторінці: такий вид дозволяє поглянути на проблему по-новому.
- Використовуйте програми-аналізатори («screen-scrapers»).
- Використовуйте Інтернет для проведення прямих опитувань споживачів, працівників.

3.5. Відстежуйте об'єкт, який цікавить вас (адже якщо об'єкт взагалі існує, ви його так чи інакше спостерігаєте). Якщо не працює один метод спостереження - спробуйте інший (і постарайтеся перевірити їх всі!). Проводьте аналіз вже наявної у вас інформації. Використовуйте безпосереднє спостереження. Дивіться, підраховуйте і по можливості робіть вибіркові оцінки. Якщо об'єкт не залишає після себе слідів, «позначте» його, щоб побачити сліди. Якщо відстежити об'єкт не вдається, створіть умови, де з'явиться можливість спостерігати за об'єктом, - проведіть експеримент.

3.6. Не вимірюйте точніше, ніж вам потрібно. Вартість інформації показує, якою є верхня межа витрат на проведення вимірювань; має сенс розраховувати, що вимірювання складуть приблизно 10% від очікуваної вартості повної інформації, хоча нерідко вони не перевищують і 2%. Якщо перші підсумки вимірювань виявляються несподіваними, то витрат на продовження оцінки може і зовсім не бути. І не треба забувати, що початкова інформація зазвичай цінніша за наступну: вона знижує невизначеність набагато більше.

3.7. Враховуйте похибку методів вимірювання. Відрізняйте систематичні помилки (постійні, а не випадкові відхилення результатів одного спостереження від підсумків іншого) від випадкових (не піддаються передбаченню, але підкоряються певній закономірності, тобто можуть бути розрахованими за допомогою теорії ймовірності). Не плутайте «достовірність» (яка відображає відтворюваність і повторюваність результатів вимірювань) і «точність» (тобто те, наскільки результат вимірювання близький до справжнього значення).

3.8. Навіть малі випадкові вибірки дають більш достовірний результат, ніж великі невипадкові. Спостереження за частиною може дати вам інформацію про ціле.

3.9. Працюйте з наслідками. Що станеться, якщо показник сильно підвищиться або помітно впаде?

3.10. Ніколи не використовуйте метод, який здатний збільшити помилку первісної оцінки (наприклад, бали - для оцінки можливостей, стратегій, інвестицій; у роботі з реальними величинами).

3.11. Уявіть, як з цим же завданням працювали б інші люди: криміналіст, психолог-експериментатор, палеонтолог, бібліотекар... Зверніть увагу на їхні методи вимірювання.

3.12. Задумайтеся над простим питанням, відповідь на яке може зробити подальші вимірювання неактуальними. Пам'ятайте про Емілі Розу, яка не намагалася оцінити, який ефект дає метод безконтактного масажу і чи є цей ефект взагалі. Такі питання можуть взагалі позбавити вас від необхідності проведення складних вимірювань.

3.13. не думайте про можливі невдачі ".