Консультативные интеллектуальные медицинские системы: классификации, принципы построения, эффективность

Б.А. Кобринский

ФГУ «Московский НИИ педиатрии и детской хирургии» Росмедтехнологий

Введение

В последнее время появилась тенденция к широкому необоснованному использованию понятия «интеллектуальная система» по отношению к различным системам поддержки принятия решений и даже к информационным медицинским системам. В связи с этим представляется полезным рассмотреть принципиальные отличительные особенности интеллектуальных систем.

Говоря об искусственном интеллекте, обычно имеют в виду относительно ограниченные «разумные решения и логические рассуждения», осуществляемые с помощью специального программного средства, именуемого системой, основанной на знаниях специалистов. Консультативными интеллектуальные системы называют потому, что в них предусмотрен механизм объяснения и обоснования предлагаемых решений, включая альтернативные (за исключением использования метода нейронных сетей). Работа таких систем всегда осуществляется в интерактивном режиме, т.е. диалоге с пользователем, который предоставляет как исходную информацию, так и дополнительные сведения по конкретным вопросам, необходимость в которых возникает при решении конкретной задачи.

Переход к консультативным интеллектуальным системам (КИС) позволил перейти к дифференциальной диагностике среди десятков, сотен и даже тысяч нозологических единиц, что было совершенно невозможно для традиционных систем распознавания образов. К примеру, база знаний ЭС INTERNIST-I/CADUCEUS [20] содержит информацию о более, чем 500 терапевтических заболеваний. Следует также отметить, что использование КИС позволяет не пропускать и такие ситуации, на которые обращает внимание Р.Ригельман [14]: а) часто встречающееся заболевание, но с атипичными симптомами; б) симптомы-миражи (которые связывают с определенной патологией, тогда как на самом деле они могут не иметь к ней никакого отношения) и болезни-хамелеоны (маскирующиеся под другую патологию); в) «поиск зебр» (редких болезней). Именно сложность медицинской проблемной области привела к тому, что наибольшее число интеллектуальных систем, среди различных областей знания, разработано для здравоохранения. Их география довольно обширна: Австрия, Италия, Китай, Россия, Франция, Чехословакия, США, Япония и другие страны.

Знания врачей в значительной степени представляют собой синтез опыта (клинических наблюдений) и сведений в своей проблемной области, почерпнутых в процессе обучения (повышения квалификации) и из литературных источников имеют (хотя и содержат представления о частоте встречаемости отдельных симптомов и синдромов). Можно утверждать, что врач в конкретной ситуации сочетает базовые представления с личным опытом, привлекая аналогии для подтверждения своих предположений (гипотез). При этом, в зависимости от квалификации, он легче или труднее распознает атипичные формы заболеваний, прогнозирует динамику процесса.

Интеллектуальные или основанные на знаниях системы, в отличие от систем распознавания состояний на основе вычислительных процедур (т.е. статистической обработки данных о конкретных случаях заболеваний), имитируют логику врачебного мышления, опираясь на базу знаний (БЗ) в конкретной предметной области медицины. БЗ содержит формализованную информацию о связях, выраженности, диагностической (прогностической) значимости наблюдаемых признаков. Это могут быть сведения об этиологии, патогенезе заболеваний, об ассоциативных отношениях симптомов.

Все знания о болезнях разделяются на декларативные – для описания собственно заболевания (клиническая картина, дополнительные синдромы) и процедурные, указывающие на то, как использовать знания в процессе диагностики. Сложность создания КИС заключается в адекватном представлении знаний предметной области: описательная модель – формальная модель – база знаний и механизм логического вывода. Наиболее важным и, одновременно, самым трудоемким разделом при создании КИС является этап концептуализации, предполагающий содержательный анализ предметной области: определение используемых понятий, их взаимосвязей и методов решения поставленных задач. При любом подходе – с участием когнитолога (аналитика, инженера по знаниям) или специальной программы – главное так организовать диалог с врачом-экспертом, чтобы преобразовать в слова хотя бы часть того, что принято называть интуицией врача и что в первую очередь отличает специалиста высокой квалификации. От этого во многом зависит последующая результативность работы интеллектуальной системы [7].

Познавательный цикл продуктивного мышления для медицинской диагностики может быть представлен в следующем виде: Анализ результатов осмотра – рассуждение и аргументация, включая аналогии – гипотеза или альтернативные гипотезы – верификация или фальсификация, за чем может следовать пополнение данных и знаний с повторным циклом рассуждения и аргументации, завершающимся коррекцией гипотезы [17, 8]. Аргументационная логика врача-диагноста, и соответственно КИС, направлена, с одной стороны, на выявление признаков, подтверждающих предполагаемый им, предположительно наиболее вероятный диагноз («за»), а с другой стороны, на поиск альтернативных признаков, отрицающих другие заболевания («против»).

При этом следует иметь в виду, что логика врачебного мышления в процессе диагностики зависит, в определенной степени, особенно при первичном осмотре, от представляемых больным фактов. В то же время, в изложении жалоб пациентом, как и в их восприятии врачом, может иметь место невольная деформация, объясняемая рефлексивными процессами пациента и врача. Особенно сложная ситуация имеет место в отношении психических болезней и токсикоманий, где степень искажений личных ощущений и их изложения наиболее велика. В связи с этим, в структуре процесса постановки диагноза можно выделить несколько этапов, в той или иной степени характеризующих вклад рефлексии в принятие решения, т.е. выбор одной из гипотез или альтернатив [6]:

• 
  информация, поступающая от больного (жалобы, история жизни и настоящего заболевания), т.е. субъективные сведения (включая различные искажения – аггравацию или преуменьшение болезненных проявлений), характер представления которых определяется рефлексивной системой больного;
  
• 
  получение данных путем так называемого физикального обследования больного и их объективно-субъективная оценка врачом с учетом его рефлексии;
  
• 
  интуитивно-образные представления врача о наблюдаемом заболевании в случае преобладания у него правополушарных механизмов формирования гипотез.
  

Ассоциативные связи, возникающие у врача или формируемые экспертной системой, позволяют учитывать: а) на фоне каких заболеваний мог развиться наблюдаемый патологический процесс (анамнез), б) фоном для каких синдромов он может послужить в дальнейшем (прогноз), в) сочетание каких синдромов, наблюдаемых у пациента, не противоречит выдвинутой диагностической гипотезе, г) информацию о взаимоисключающих симптомах или синдромах (ассоциация по контрасту).

Формальное представление знаний реализуется чаще всего с помощью одного из трех механизмов или их сочетаний. Это фреймы, семантическая сеть и продукции. Фрейм (в переводе с английского языка – остов, каркас, рамка) имеет имя и состоит из набора позиций, которые содержат значения различных свойств, логические и семантические отношения, то есть декларативные и процедурные знания, упоминавшиеся выше. Заполняя во фреймах пустые позиции (слоты) соответствующими данными, их превращают в носителей конкретного знания. Чем больше слотов во фрейме, тем шире представление об описываемом объекте. Происхождение понятия семантические сети связано с отражением смысла выражений человеческого языка, в формальном виде они содержат узлы (представляющие собой понятия или концепты) и связи, определяющие отношения между ними. Семантическая сеть может использоваться самостоятельно или в сочетании с фреймовым формализмом представления знаний, что обеспечивает решение проблемы наследования свойств элементов. Продукции (или продукционная система) – это набор множества правил, включающий знания о времени их применения. Фреймово-продукционный формализм представления знаний позволяет не производить полного перебора всех правил, а осуществлять целенаправленный поиск по сети фреймов.

Классификация интеллектуальных систем

Консультативные системы подразделяются, по принципам их реализации, на:

1. 
   экспертные (основаны на знаниях конкретных высоко квалифицированных врачей-специалистов, именуемых экспертами),
   
2. 
   интеллектуальные (базируются на информации из литературных источников или сочетании личных и литературных знаний),
   
3. 
   гибридные (обработка логической компоненты знаний в сочетании с вычислительными процедурами или с математическими моделями).
   

• 
  поддержка решений практикующего врача или лица принимающего административные решения (консультирующие или ассистирующие);
  
• 
  решение научно-исследовательских задач – анализ и оценка ситуации (одним из вариантов решения представляется возможной организация взаимодействия по схеме «доктор Ватсон» – вывод на основе рассуждения в ответ на вопрос при ассистировании в диалоге между специалистами разной квалификации [11]);
  
• 
  обучение студентов и повышение квалификации врачей (критикующие или оппонирующие).
  

1. 
   дифференциальная диагностика и выбор лечения в широком круге нозологических форм;
   
2. 
   анализ динамики патологического процесса (с учетом проводимой терапии);
   
3. 
   оценка состояния в режиме «реального» времени (при неотложных состояниях);
   
4. 
   анализ прогностически неблагоприятных ситуаций;
   
5. 
   выбор лечебной тактики.
   

Функциональная схема классической КИС представлена на рис.1. Блок представления знаний о предметной области содержит модели знаний и фактографические данные (симптомы и признаки, представляющие структуру, включающую имя данного, его свойства, значения, области нормальных и возможных значений). В этот же блок может входить и так называемый архив, содержащий персонифицированную информацию о больных, где специально выделяются случаи, когда был поставлен неправильный диагноз либо врачом, либо системой, что дает возможность анализировать в дальнейшем эти ситуации для извлечения скрытых в них знаний. Механизм вывода является средством воспроизведения логики специалиста при принятии решения.

Режим подтверждения предлагаемого системой решения основывается на одном из двух основных вариантов: а) необходимые и достаточные условия (дифференцирующие признаки), б) количественная оценка правдоподобия гипотез (уровни уверенности, указывающие степень надежности диагностического правила).

Практически важными аспектами КИС являются, с одной стороны, выдвижение гипотезы о состоянии больного на основании ограниченного набора параметров (оптимизация совокупности правил), а с другой стороны, направленный доспрос врача по признакам для подтверждения или отклонения выдвинутой гипотезы.

Эффективность решений интеллектуальных систем в определенной степени определяется их способностью учитывать различную степень выраженности клинических проявлений болезни в конкретном случае. Использование КИС особенно важно для начинающих врачей, не обогащенных личным опытом. В то же время, для врача, имеющего большой опыт, необходима возможность участия в процессе принятия решения системой. Оно может быть реализовано различными средствами: а) возможность выразить свою уверенность в отношении выраженности проявлений заболевания в конкретном случае; б) доступность выбора режима диагностики среди альтернативных вариантов; в) возможность последовательной модификации представления о патологическом процессе путем перебора ряда диагностически значимых симптомокомплексов; г) изменение порядка опроса врача о симптомах заболевания (от признаков к диагнозу или от предполагаемого диагноза с помощью получения информации об уточняющих признаках); д) управление степенью жесткости отбора диагнозов в дифференциальный ряд, что приводит к его уменьшению или увеличению [5]. На таких основах может быть обеспечен учет специфики конкретной ситуации (включая ограничения, обусловленные срочностью принятия решения), психология пользователя, его квалификация и привычки, что, правда, предъявляет определенные дополнительные требования к разработчикам интеллектуальных систем. В случае, когда отсутствует возможность однозначной трактовки имеющихся данных, результаты работы КИС могут быть представлены диагностической гипотезой или дифференциально-диагностическим рядом, данными о наблюдаемых у больного симптомах, которые не удается объяснить в рамках рассмотренных диагнозов, и рекомендациями по дальнейшему обследованию. В интеллектуальных системах на основе ДСМ-рассуждений [17] используются понятия аргументов и контраргументов, т.е. утверждений «за» или «против» диагноза при наличии определенных признаков, что близко к процессу осуществляемой врачом дифференциальной диагностики.

Интересно рассмотреть подход, использованный в экспертной системе ЭСТЕР [1] для диагностики лекарственных отравлений по 19 группам препаратов. При 63 диагностических признаках и в среднем 3-х значениях на шкале каждого из них общее количество комбинаций равно 363. Задачей ЭС является соотнести эти комбинации (клинические ситуации) с различными классами в соответствии с препаратом, послужившим причиной отравления. Для каждого класса решений в системе указаны наиболее типичные значения диагностических признаков. Таблицы запрещенных значений для пар «диагностический признак – класс решений» позволяют ускорить процесс диагностики. Для классов решений со сходными сочетаниями диагностических признаков были построены дополнительные БЗ. Соответствующие оптимальные деревья решений позволяют сделать вывод в сложных случаях, когда возможно отравление более, чем одним препаратом или когда различные препараты дают сходную клиническую картину. В подобных ситуациях ЭСТЕР дает один из ответов следующего вида: «Отравление препаратом А более вероятно, чем отравление препаратом В», «Возможно отравление препаратами А и В». Модуль выдвижения гипотез исследует описание состояния пациента с целью определения типичных признаков отравления тем или иным препаратом. Если конкурируют несколько гипотез, то он выбирает ту из них, которая подкреплена наибольшим количеством типичных значений признаков. Модуль «Лечение» способен выдать рекомендации с учетом тяжести отравления, степени поражения различных систем организма. При назначении метода лечения и дозировок антидотов ЭСТЕР позволяет учитывать возраст и вес пациента, его историю болезни.

Необходимо обратить внимание на еще один аспект, повышающий для врача привлекательность компьютерной поддержки диагностического решения. Визуализация результатов, в том числе промежуточных, может повысить эффективность КИС, так как известно, что для врача "лучше один раз увидеть". В медицине, в частности в неврологии и нейрохирургии, традиционно принято представлять определенную информацию, связанную с топической диагностикой процесса, в схематической форме, что необходимо для идентификации места локализации очага поражения. Классическим вариантом реализации этого можно считать систему NEUROLOGIST [18], в которой было предусмотрено формирование схематического изображения среза мозга с указанием локализации очага поражения.

Учет специфики клинических проявлений болезней

КИС позволяют учитывать и «преодолевать» ряд специфических особенностей медицинской предметной области.

Во 1-х, полиморфность (разнообразие) клинических проявлений у больных с одним и тем же диагнозом, включая варианты и атипичные формы. К примеру, понятие «маски», представляющее собой логическое выражение, состоящее из теоретически возможных клинических проявлений синдрома, часто встречающихся, редко встречающихся и т.д., позволяет осуществлять диагностику при стертой клинической картине или не полностью развившемся синдроме.

Во 2-х, отсутствие достаточного собственного опыта наблюдения и дифференциальной диагностики редких (например, наследственных) болезней, при формировании базы знаний которых эксперты во многом опираются на литературные источники.

В 3-х, нечеткость терминов или понятий (форм, стадий заболеваний), переходы между которыми характеризуются размытыми границами, что вызывает различия в их трактовке врачами. Кроме того, в медицинской практике характерна довольно широкая шкала нечетких вербальных определений, которые условно можно объединить понятием “мне кажется”, включающим следующие варианты: а) скорее всего или весьма (очень) вероятно, б) нельзя исключить, в) можно заподозрить, г) противоречивые или спорные сведения, д) сомнительно, но не исключено или мало вероятно, е) крайне мало вероятно. Примерами могут служить такие ряды, как «умственная отсталость – интеллектуальная недостаточность – задержка развития – отставание в развитии», которые не являются синонимами, а несут каждый свою смысловую нагрузку, или переходы цветов (кожа серая, землистая, с землистым оттенком и т.п.). Другими словами. встречаются множества более или менее возможных значений переменной. Для сравнительной оценки таких параметров используются как числовые значения, так и «лингвистические шкалы» (несколько ближе, значительно ближе, намного ближе и т.п.). С позиций так называемых НЕ-факторов речь может идти о неточности, недоопределенности, неоднозначности и нечеткости [12]. Это послужило основанием для программной реализации метода извлечения нечетких знаний, на основе которой проводится проверка адекватности подхода к извлечению знаний [15]. Регулирование параметров нечеткой модели в области сердечно-сосудистой патологии, реализованной в Греции, выполнено с использованием стохастической глобальной процедуры оптимизации [24]. Существуют и другие подходы к обработке нечетких знаний и данных.

В 4-х, динамика изменений клинических признаков во времени – большие периоды, характеризующие динамику при хронических заболеваниях, и смена состояний в масштабе реального времени при неотложных состояниях. Последнее касается учета временных связей, что находится на стыке диагностических и прогностических систем как это реализовано, например, в системе синдромной диагностики ДИН для педиатрической реаниматологии [16].

Для извлечения и последующей структуризации знаний в целях создания КИС необходимы усилия не только врача-эксперта, хорошо знающего конкретную предметную область, но и когнитолога, уточняющего, структурирующего и формализующего получаемую информацию. Крайне важно выявление неявных противоречий у эксперта или экспертов, когда реализуется извлечение знаний в процессе собеседования с группой высоко квалифицированных врачей [9]. Извлечение знаний может происходить как в процессе собеседований между инженером по знаниям и врачом, так и непосредственно с замещающей когнитолога специальной программой активного опроса эксперта. Особый интерес для понимания принципов получения необходимых сведений в процессе диалога врача с больным представляет метод, получивший название "диагностические игры" [3], где больного имитирует второй врач.

Сравнительно новым вариантом извлечения знаний является так называемый Data Mining («раскопка» или «добыча» данных в больших хранилищах первичной информации – историях болезни), синонимами которого можно считать обнаружение знаний в базах данных (knowledge discovery in databases) и интеллектуальный анализ данных. Во всех этих случаях речь идет о выявлении устойчивых связей в данных, которые могут быть практически полезны для интерпретации в качестве знаний. Аккумулированные в базах данных историй болезни сведения не только о классических проявлениях заболеваний, но и об атипичных вариантах, что особенно важно, могли бы существенно способствовать повышению качества наполнения БЗ.

Гибридные системы

Укажем два подхода к построению гибридных систем.

Первый – экспертные системы для мониторно-компьютерного контроля «Гарвей», «Айболит», «Миррор», построенные на совокупности математических и логико-лингвистических моделей в НЦ сердечно-сосудистой хирургии им. А.Н. Бакулева [2]. В них реализован алгоритм, обеспечивающий врача информацией для обоснованного принятия решений, который опирается на фундаментальные знания в области кровообращения и работы сердца. Предложенная технология обеспечивает индивидуализацию суммы знаний о пациенте на основе контроля результатов текущих решений системы.

Второй – ряд систем экспертно-статистического типа на основе технологии виртуальных статистик для дифференциальной диагностики эпилепсий и болезней почек у детей [10] и система для консультативной диагностики ишемического и геморрагического типов инсульта на основе сочетания трех подходов – статистического, логико-статистического и нейросетевого [13].

Особняком стоит вопрос интеграции в интеллектуальные системы программно-аппаратных комплексов обработки электрофизиологических и биохимических данных. В этом случае функциональные данные, получаемые в процессе мониторирования, поступают на вход системы и актуализируют ее, т.е. реализуется динамический анализ ситуаций в режиме реального времени. В качестве примера можно назвать интегральную автоматизированную систему постоянного интенсивного наблюдения ГАСТРОЭНТЕР для синдромальной диагностики и прогнозирования состояний у больных с острой абдоминальной патологией, находящихся в отделении интенсивной терапии [4].

Эффект самообучения при работе с консультирующими системами

Применение интеллектуальных систем обеспечивает, в неявной форме, повышение квалификации врачей. Это обеспечивается различными способами.

Получение информации о различных взглядах в отношении наблюдаемого у больного состояния было реализовано, в определенной степени, в режиме запроса врача-пользователя уже в одной из первых медицинских экспертных систем MYCIN, обеспечивающей поддержку решений при выборе антибактериальной терапии [22]. При этом необходимо отметить, что при проверке данной ЭС на «компетентность» было показано, что машинный диагноз оказался идентичным с мнением экспертов-инфекционистов в 76,7% случаев при тестовых испытаниях и в 90,9% случаев совпал с рекомендациями большинства экспертов [19].

В экспертной системе по неотложным состояниям ДИН один из режимов работы позволяет врачу осуществлять проверку правильности предполагаемого им диагноза при движении от синдрома к симптомам, а в другом варианте применения ЭС имеется возможность, наряду с ведущим диагнозом, получить весь список рассмотренных системой гипотетических состояний с оценкой их правдоподобия [16].

Выдача альтернативных объяснений, соответствующих различным научным школам при диагностике и лечении нарушений кислотно-щелочного равновесия в организме была реализована в ЭС ABEL [23].

Наконец, ЭС PHEO-ATTENDING включает использование знаний, отражающих позиции двух конкурирующих медицинских школ при назначении дополнительного обследования больному с феохромоцитомой [21].

Большинство интеллектуальных систем основаны на использовании логической компоненты человеческого мышления. И, как отмечено вначале, их часто называют консультирующими, хотя более оправданным представляется использовать в отношении них термин «ассистирующие системы», что будет подчеркивать их значение именно как помощников врача.

• 
  повышению эффективности дифференциальной диагностики при нечетко выраженных проявлениях болезни у пациента;
  
• 
  учету фоновых состояний пациента;
  
• 
  оценке неблагоприятных в прогностическом плане ситуаций;
  
• 
  повышению квалификации врачей.
  

1. 
   Асанов А.А., Ларичев О.И., Нарыжный Е.В., Страхов С.И. Экспертная система для диагностики лекарственных отравлений // Седьмая национальная конф. по искусственному интеллекту с междунар. уч. (КИИ’2000): Тр. конф. Т.2. – М.: Изд-во Физ-мат. лит., 2000. – С.708-716.
   
2. 
   Бураковский В.И., Бокерия Л.А., Газизова Д.Ш., Лищук В.А. и др. Компьютерная технология интенсивного лечения: контроль, анализ, диагностика, лечение, обучение. – М.: НЦ ССХ РАМН, 1995.
   
3. 
   Гельфанд И.М., Розенфельд Б.И., Шифрин М.А, Очерки о совместной работе математиков и врачей. – М.: Наука, 1989.
   
4. 
   Зарубина Т.В., Гаспарян С.А. Управление состоянием больных перитонитом с использованием новых информационных технологий. – М., 1999.
   
5. 
   Кобринский Б.А., Таперова Л.Н., Фельдман А.Е., Веприцкая О.В. К вопросу о коммуникабельности медицинских экспертных систем // Эволюционная информатика и моделирование: Сб. науч. тр. по матер. междунар. конф. – М.: ГосИФТП, 1994. – С.100-116.
   
6. 
   Кобринский Б.А. Рефлексия и нечеткие представления в медицинских системах искусственного интеллекта // Рефлексивное управление. Тез. междунар. симпоз. – М.: Изд-во «Ин-т психологии РАН». – 2000. – С. 85-86.
   
7. 
   Кобринский Б.А. Логика аргументации в принятии решений в медицине // НТИ, сер.2. – 2001а. – №9. – С.1-8.
   
8. 
   Кобринский Б.А. Искусственный интеллект и медицина: возможности и перспективы систем, основанных на знаниях // Новости искусственного интеллекта. 2001б. №4. С.44-51.
   
9. 
   Кобринский Б.А. Извлечение экспертных знаний: групповой вариант // Новости искусственного интеллекта. – 2004. - №3. – С.58-66.
   
10. 
    Марьянчик Б.В. Метод виртуальных статистик и его применение в партнерских системах для компьютерной диагностики // Компьютер. хроника. – 1996. - №5. – С.65-74.
    
11. 
    Мешалкин Л.Д., Гольдберг С.И. Новый класс систем искусственного интеллекта (DrWt-системы) // Известия РАН. Сер. Технич. кибернетика. – 1992. - № 5. – С.217-223.
    
12. 
    Нариньяни А.С. НЕ-факторы и инженерия знаний: от наивной формализации к естественной прагматике // КИИ-94: Национальная конф. с междунар. уч. "Искусственный интеллект-94": Сб. науч. тр. Т.1. – Рыбинск, 1994. – С.9-18.
    
13. 
    Реброва О.Ю. Применение методов интеллектуального анализа данных для решения задачи медицинской диагностики // Новости искусственного интеллекта. – 2004. - №3. – С.76-80.
    
14. 
    Ригельман Р. Как избежать врачебных ошибок. Книга практикующего врача. – М.: Практика, 1994.
    
15. 
    Рыбина Г.В., Душкин Р.В., Сидоркина Ю.С. О конкретном подходе к извлечению нечетких знаний // Научная сессия МИФИ-2004: Сб. науч. тр. Т.3. – М.: МИФИ, 2004. – С.144-145.
    
16. 
    Таперова Л.Н., Веприцкая О.В. Автоматизированное рабочее место детского врача-реаниматолога // Компьютер. хроника. – 1994. – №3-4. – С.49-60.
    
17. 
    Финн В.К. Интеллектуальные системы: проблемы их развития и социальные последствия // Будущее искусственного интеллекта. – М.: Наука, 1991. – С.157-177
    
18. 
    Catanzarite V.A., Greenburg A.G. NEUROLOGIST: a computer program for diagnosis in neurology // Graph. Arts mon. and print. ind. – 1979. – Vol.51. – N.12. – P.64-71.
    
19. 
    Davis R., Buchanan B.G., Shortliffe E.H. Production rules as representation for a knowledge-based consultation program // Artif. Intell. – 1977. – Vol.8. – N.1. – P.15-45.
    
20. 
    Masarie F.E., Miller R.A., Myers J.D. INTERNIST-I properties: Representing common sense and good medical practice in a computerized medical knowledge base // Comput. and Biomed. Res. – 1985. – Vol.18. – N.5. – P.458-479.
    
21. 
    Miller P.L., Blumenfruchi S.J., Black H.R. An expert system which critiques patient workup: modelling conflicting expertise // Comput. and Biomed. Res. – 1984 – Vol.17. – N.6. – P.554-569.
    
22. 
    Shortliffe E.H. Computer-based medical consultations: MYCIN. – Elsevier North Holland Inc., 1976.
    
23. 
    Szolovits P., Pauker S.G. Categorial and probabilistic reasoning in medical diagnosis // Artif. Intell. – 1978. – Vol.11. – N.1-2. – P.115-144.
    
24. 
    Tsipouras MG, Voglis C, Fotiadis DI. A framework for fuzzy expert system creation-application to cardiovascular diseases // IEEE Trans. Biomed. Engineering. – 2007. –Vol.54. – N.11. – P.2089-2105.