Про то, как нельзя проектировать информационные системы

[Bobkov]

Цитата:

Сообщение от mazzy

"как надо" предусматривать механизмы контроля

Ну, раз пошла такая пьянка, постою немножко у трибуны...

В первую очередь, конечно нужно контролировать выходы системы, нужно постоянно мониторить, система в целом дает нужное качество или нет. Этот шаг дает возможность наблюдения за качеством. А что делать, если результат на выходе не тот? Хочется узнать, из-за чего это? Тогда нужен следующий шаг.

Нужно контролировать входы системы. Если входы не соответствуют требованиям, нельзя их использовать. Это конечно требует значительной воли от владельца системы, потому что "план горит" и велик соблазн работать с тем "что завезли", а потом поправить (обычно забывают). Но если требуется качество результата, то использовать несоответствующие входы нельзя, только хуже будет. Это самый важный шаг для управления качеством. Входной контроль - самый выгодный. А что делать, если входы вроде соответствуют, а выход все равно плохой (иногда)? Чтобы в этом разобраться, нужен следующий шаг.

Ставятся промежуточные контроли между подсистемами. С их помощью ведется анализ, когда "что-то пошло не так" и выявляются проблемы технологической цепочки. Этот шаг дает возможность локализации проблем технологии, ее отработки и тем самым дальнейшего повышения качества.

Очень важно, чтобы информация, возникающая в местах этих "контролей", при сбое своевременно попадала лицу, принимающему решение. Чтобы лицо могло хотя бы первично предположить причину, по возможности нужен "срез" информации, который бы отвечал на вопросы - а что в момент сбоя было на смежных участках, а что происходило перед этим. В сложном случае тут целая "биг дата" может понадобиться.

Вот как-то так по-простому, это типичный подход управления качеством по принципу "сломалось - ремонтируем".

А если нужно чтобы совсем не ломалось (то есть гарантированное качество)? Тогда нужны предупреждающие действия. Это когда сейчас все вроде хорошо, но в системе идет деградация и чтобы не допустить ни одного сбоя, ставятся контроли, определяющие негативные тенденции. Если какой-то вход или элемент системы подошел к опасной границе, его заменяют (хотя сбоя еще нет). Тут конечно требуется особенно сильная воля, потому что "оно же работает, как можно выбрасывать-то, вот если бы сломалось, то...", поэтому обычно наши люди предпочитают с этим не запариваться

[mazzy]

Цитата:

Сообщение от Bobkov

\Тут конечно требуется особенно сильная воля

или колдунство )
"сломалось - ремонтируем" - это ты ISO9000 описал

[mazzy]

Цитата:

Сообщение от Bobkov

А если нужно чтобы совсем не ломалось (то есть гарантированное качество)? Тогда нужны предупреждающие действия. Это когда сейчас все вроде хорошо, но в системе идет деградация и чтобы не допустить ни одного сбоя, ставятся контроли, определяющие негативные тенденции. Если какой-то вход или элемент системы подошел к опасной границе, его заменяют (хотя сбоя еще нет).

собственно тут и подошли к самому интересному.
а какие предупреждающие действия будут достаточны?
как определить опасность границы?

[komar]

Цитата:

Сообщение от mazzy

собственно тут и подошли к самому интересному.
а какие предупреждающие действия будут достаточны?
как определить опасность границы?

Теоретически, в оценке рисков мы работаем с экспертной оценкой. Как результат - может существовать система с сильным уровнем контроля, и рядом система с низким уровнем контроля, но вполне удовлетворяющая пользователя.

В случае систем бухгалтерского учёта или в случае с (вполне политически нейтральным) примером с архаическими системами чековых платежей и оплаты при помощи телефонных звонков - система рано или поздно даст обратную связь в виде убытков или штрафов. В случае систем электоральных всё, конечно же, сложнее - так как на обратную связь могут уйти десятилетия, да и получившийся результат оцениваться будет разными пользователями по-разному.

Вариант "работает-не трогай" имеет право на жизнь, конечно же. Однако, случай, когда система дырява настолько, что даже проверить результат невозможно, кажется мне достаточно диким. Погрешность в данном случае теоретически равна бесконечности, что приемлемым быть не может.

[Pavel]

Цитата:

Сообщение от komar

Вариант "работает-не трогай" имеет право на жизнь, конечно же. Однако, случай, когда система дырява настолько, что даже проверить результат невозможно, кажется мне достаточно диким. Погрешность в данном случае теоретически равна бесконечности, что приемлемым быть не может.

'Те, кто находились на борту, могли воспользоваться лишь двумя кнопками центральной панели: на одной было написано «старт», а на другой «стоп». Кнопка «старт» служила только для того, чтобы корабль взлетел с Марса. Кнопка «стоп» была просто декоративной. Ее установили по требованию марсианских экспертов-психологов, полагавших, что человеческим существам всегда приятнее иметь дело с механизмами, которые можно остановить.' (c) классика фантастики.

Дырявость и погрешность указанной системы по факту ничего изменить не могут. Результат в итоге определят 538 человек, которые хорошо известны, авторитетны и самое главное абсолютно лояльны. Это и есть 'защита'... но не IT-системы...

[Bobkov]

Цитата:

Сообщение от mazzy

"сломалось - ремонтируем" - это ты ISO 9000 описал

Предупреждающие действия в ISO 9000 так же есть, обычно они встречаются по тексту сразу после корректирующих. С точки зрения системы управления качеством по ISO, предупреждающие действия обязательны, без них нельзя.

Цитата:

Сообщение от mazzy

собственно тут и подошли к самому интересному.
а какие предупреждающие действия будут достаточны?
как определить опасность границы?

Методики обычно все те же - статистические. Это же наука, у нас этой темой еще в советское время активно занимались, прежде всего в машиностроении. Опытным путем устанавливается состояние, с определенной вероятностью предшествующее сбою. Пример из информационных технологий - если вентилятор в компьютере начал гудеть, значит скоро он встанет и сгорит то что он охлаждает. Люди предусмотрительные такой вентилятор срочно меняют, не дожидаясь отказа.

Цитата:

Сообщение от komar

случай, когда система дырява настолько, что даже проверить результат невозможно, кажется мне достаточно диким. Погрешность в данном случае теоретически равна бесконечности, что приемлемым быть не может.

Точно. Но это твое наблюдение с большой вероятностью означает не то, что система плоха, а то что ты ее плохо знаешь. Возможно, ты даже не представляешь себе, что является ее результатом, полезным для владельцев и какие требования они к нему предъявляют. Вполне вероятно, что результат есть, и качество владельцев устраивает, и контроли имеются в нужных местах. Просто мы об этом не знаем. И это нормально, потому что владельцы системы совсем не заинтересованы в том, чтобы мы это знали, а как раз наоборот

[mazzy]

Цитата:

Сообщение от Bobkov

Пример из информационных технологий - если вентилятор в компьютере начал гудеть, значит скоро он встанет и сгорит то что он охлаждает. Люди предусмотрительные такой вентилятор срочно меняют, не дожидаясь отказа.

Получается, что все опять же сводится к "механизмам внутреннего контроля" )
только вместо отказа вентилятора контролируется гул вентилятора )

и снова все тот же вопрос: в какой момент механизмов внутреннего контроля достаточно? каков критерий "достаточности"? какова трудоемкость создания и развертывания достаточных механизмов?

подозреваю, что снова все сводится к "статистические" )
но это значит, что механизмов не будет до первого громкого случая - пока гром не грянет.

и плавно возвращаемся к началу ветки и к топикстартеру )

[komar]

Цитата:

Сообщение от mazzy

Получается, что все опять же сводится к "механизмам внутреннего контроля" )
только вместо отказа вентилятора контролируется гул вентилятора )

и снова все тот же вопрос: в какой момент механизмов внутреннего контроля достаточно? каков критерий "достаточности"? какова трудоемкость создания и развертывания достаточных механизмов?

подозреваю, что снова все сводится к "статистические" )
но это значит, что механизмов не будет до первого громкого случая - пока гром не грянет.

и плавно возвращаемся к началу ветки и к топикстартеру )

Спасибо

Итак, когда же систем контроля достаточно? Возьмём, например, контроль доступа. Нам нужно, чтобы на участок смогли пройти только определённые люди, причём только один раз. Пока опустим возможность некорректного составления списков.

Вполне очевидно, что просто назвать фамилию, либо принести квитанцию об оплате квартплаты недостаточно.

Почему недостаточно? Потому, что выдать неверные сведения в таком случае просто, так как личные данные в рассматриваемой юрисдикции довольно легко доступны



, а напечатанная на принтере бумажка может изготавливаться любым школьником в любых количествах и в короткое время.

Почему мы говорим о том, что паспорт с фотографией является достаточным? Потому, что он однозначно идентифицирует человека, и имеет достаточную защиту от подделки, которую в массовом порядке сломать очень проблематично, это требует специального оборудования, навыков и больших денег.

А теперь самое главное. При каких обстоятельствах данные риски действительно существенны, то есть оказывают на результат существенное влияние? Таких обстоятельство два.

Во-первых, явка на выборах не должна составлять 100%. Это условие соблюдается практически повсеместно, в США - обычно где-то около 66%.

И второе важное условие. Отсутствие явного фаворита. В ситуации, когда один кандидат заведомо популярнее своих конкурентов, и разрыв составляет десятки процентов, манипуляции не имеют смысла. А имеют они смысл в ситуациях, когда имеются два (или больше) равных по популярности кандидата. То есть в тех случаях, когда выбор неочевиден.
Такая ситуация была, например, в хрестоматийном случае Буша-Гора, когда выбор фактически определила сотня голосов. Мы не будем в данном случае ворошить эту историю, так как в данном контексте не имеет значения, были ли там подтасовки или нет - важно то, что в подобных ситуациях они, во-первых, могут быть, а во-вторых, могут оказать значительное влияние на результат процесса. Если это так, то для данных случаев риск является существенным, а контролю нужно уделить внимание.

Как видим, в определении достаточности контроля особой сложности нет. Конечно, мы вряд ли сможем оценить риски с астрономической точностью, однако разговоры о том, что это невозможно и не нужно вообще, есть демагогия.

[mazzy]

Цитата:

Сообщение от komar

...чтобы на участок смогли пройти...

шо, опять?!
впрочем, сам виноват.

ну и фиг с вами, обуждайте политику в этой ветке.
с вашими безусловными "нам нужно", "должен", "важное условие".

да насрать на квитанции, фаворитов и прочую шелуху.

гораздо интереснее, на мой взгляд, при обсуждении информационной системы понимать почему и кому это "нужно"?
кто, кому и почему "должен"?
почему условие является важным? и для достижения чего именно условие является важным?
а также кто и в каком объеме оплачивает этот банкет?
и какой компромисс цена/качество является приемлемым? чем можно пожертвовать для достижения компромисса?

[mazzy]

Цитата:

Сообщение от komar

Нам нужно, чтобы на участок смогли пройти только определённые люди, причём только один раз.

Фиг с вами, рассмотрим информационные системы на примере выборов.

итак, вводная:
каждый человек, удовлетворяющий заранее заданным критериям, может в течение заранее заданного интервала времени выбрать один или несколько пунктов из заранее заданного единого списка. по завершению интервала времени, нужно подсчитать количество голосов таким образом, чтобы выбор каждого человека учитывался один раз.

к вводной замечания есть?

предлагаемое в демократических странах решение:
территориальное разбиение на "участки", приписывание людей к участкам.

предлагаемое ограничение, которого не было в исходной вводной:
человек может проголосовать только на том участке, к которому приписан.

предлагаемое решение и предлагаемое ограничение приводит к неизбежным задачам контроля правильности разбиения на участки, правильности приписывания, правильности подсчета по участкам. к задачам контроля, которые никак не влияют на саму вводную. эти задачи контроля всего лишь обеспечивают корректность данного решения. не более.

но даже при таком предлагаемом решении и таком предлагаемом ограничении требование "чтобы на участок смогли пройти только определённые люди, причём только один раз" абсолютно не связано ни с чем, является бредовым, избыточным и очень затратным. прохождение != выбор. Зачем ограничивать прохождение на участок? Ведь мы считаем голоса! Зачем вообще требовать какого-то физического прохождения?

И так далее.
komar, то что ты написал как важное/очевидное/нужное, то что ты написал про бумажки и прочие личные данные - абсолютно не относится к вводной. Вводная решается совсем другими средствами.

=================
возвращаясь к информационным системам.
выборы есть в распределенных базах данных. в этой области есть процессы, работающие на разных компьютерах в разных часовых поясях с разными задержками и с разной скоростью. компьютеры в свою очередь могут перемещаться в пространстве и в сети (ноутбуки, мобильные телефоны, планшеты и пр). часы у компьютеров принципиально могут быть несинхронизированы. процессы могут обновлять данные в одних и тех же записях.

как обеспечить целостность и непротиворечивость данных в таких условиях?

а ведь такая база есть и работает - DNS.
за домены также происходит голосование. когда домен создается или когда домен не оплачен и его кто-то перехватывает.

=================
komar, честно ну, не интересно про шелуху типа "контроль доступа на участок".
Ты ведь хорошую тему обозначил - про информационные системы.

[komar]

Цитата:

Сообщение от mazzy

komar, честно ну, не интересно про шелуху типа "контроль доступа на участок".
Ты ведь хорошую тему обозначил - про информационные системы.

Просто для меня информационная система - это не программа, а совокупность программ, алгоритмов, процедур. Согласен, правильнее, было сказать не "контроль доступа на участок", а "контроль доступа к бюллетеню или аппарату для голосования" Это принципиально что-то меняет? По-моему, нет.

Да, я рассмотрел только один из рисков, и только один из контрольных механизмов. Впрочем, довольно важный, но только один. О чём и написал.

И я ведь не только про выборы говорил, ты просто половину разговора потёр Моё удивление вызывают не выборы как таковые, а сам факт того, что вполне себе архаические системы до сих пор не совершенствуются и продолжают использоваться. Приведённый мною пример с чековой оплатой (оплата покупок рукописными пересылаемыми по почте бумажками) - тоже из той оперы:

- имеем систему, которая по определению слабо защищена, и параллельно имеем систему, которая уже массово развёрнута и лучше защищена (электронные платежи).
- имеем проверяемую статистику о том, что чековая система даёт большее количество сбоев, и вдобавок более медленна, требует затрат на свою поддержку, неудобна, и так далее. Вот, например:

Цитата:

Checks (consumer and business) were the payment instrument with the highest average value of unauthorized transactions in 2012. The average unauthorized check transaction was valued at $1221, as compared to ACH at $730, ATM withdrawals at $217, general purpose credit cards at $138, and general purpose debit cards at $105.
....
2015 AFP Payments Fraud and Control Survey findings show:
* Checks remain the payment type most vulnerable to fraud attacks.
* 77% of organizations affected by payments fraud report that checks were targeted.
* Checks were also the payment method most likely to result in a financial loss due to fraud, with 45% of those companies that experienced a loss due to fraud reporting that checks were involved.
...
и так далее...

Причины поддерживать эту систему на плаву нет - так как банковские карты используются очень давно, и пользователи вполне их освоили.

Тем не менее - странный парадокс. С одной стороны, дыры в безопасности электронных карточных платежей оперативно затыкаются. С другой стороны, явные и принципиально незатыкаемые дыры в системе чековых платежей не приводят к ликвидации такой системы. Воистину, велика инерция...