За пределами красоты: разборчивая и выразительная тактильная графика, созданная вышивкой

Аннотация

Тактильная графика делает визуальную информацию доступной слепым и слабовидящим людям посредством осязания. Современные способы изготовления тактильной графики, такие как тиснение и печать на вспучивающейся бумаге, имеют ограничения, в частности по долговечности, а необходимые для них инструменты допускают лишь ограниченную выразительность. В этой работе мы исследуем вышивку как средство создания тактильной графики. Вышивка, традиционно известная своим разнообразием и визуальной красотой, обеспечивает не только повышенную долговечность и простоту изготовления, но и возможность передавать информацию с помощью широкого набора типов стежков. Исследовав пространство дизайна вышитой тактильной графики, мы выявляем ключевые свойства восприятия, влияющие на различимость вышитых текстур. На основе этих различий мы предлагаем алгоритм оптимизации, который назначает текстуры областям тактильной графики так, чтобы они были разнообразными и различимыми. Мы реализуем сквозной процесс изготовления вышитой тактильной графики и оцениваем понятность и различимость нашего дизайна с участием шести слепых людей. Результаты показали, что вышитая тактильная графика точно и полно передает информацию, а измеримые свойства, в том числе интервалы и различимость, оказались важными факторами выразительного и разборчивого дизайна.

Ключевые слова: машинная вышивка, тактильная графика, слепые и слабовидящие люди

Введение

Тактильная графика представляет визуальную информацию в осязаемой форме: она состоит из рельефных линий, текстур, шрифта Брайля и других тактильных элементов, которые слепые или слабовидящие пользователи могут воспринимать без зрения [22]. При подготовке тактильной графики исходное изображение сначала упрощают, затем наносят на него текстуры и воспроизводят, обычно с помощью специализированных технологий, таких как брайлевские принтеры или вспучивающаяся бумага [68]. Однако инструменты для создания тактильной графики могут быть малодоступны, а выбор способов печати для личного использования невелик; многие из них остаются непомерно дорогими в условиях ограниченных ресурсов [21, 27]. Поэтому тактильную графику иногда можно найти только в учреждениях, например университетах, либо получить по почтовому заказу. Уже предпринимаются попытки повысить доступность тисненых материалов [18]. Но даже при широком распространении тисненый картон и вспучивающаяся бумага могут портиться со временем или при сгибании [68, 94]. Передовые технологии, например электронные брайлевские дисплеи, уже способны отображать тактильную графику [4], однако стоят слишком дорого и ограничены в передаче разнообразных текстур за пределами точечной сетки.

Тактильная графика из ткани служит дополняющей и долговечной альтернативой. Вышивка и ткань уже широко используются в детских книгах независимо от сенсорных нарушений: они выдерживают активную игру и благодаря мягкости безопасны при взаимодействии (например, [46]). Вышивка, традиционно ценимая за красоту и культурное значение [81], представляет собой повсеместно распространенный, но мало исследованный способ изготовления тактильной графики. Хотя ручная и машинная вышивка создается значительно медленнее, она обеспечивает долговечность материала [84], красоту и тактильную выразительность: различные текстуры стежков, материалы и цвета позволяют получать богатую на осязательные ощущения мультимодальную графику. Новые работы вне области доступности уже используют эти свойства вышивки для физического представления визуализаций данных [65, 84, 91]. В исследованиях доступности также начали изучать потенциал вышивки для передачи насыщенной контекстом информации в таких областях, как визуализация графиков и исторических артефактов [53, 78]. Особенно важно, что вышивка опирается на широко распространенный и укорененный в культуре набор навыков [14, 81], которым владеют педагоги [74], художники и любители; благодаря этому в создании доступных материалов может участвовать более широкий круг людей.

Хотя вышивку уже начинают применять для создания тактильной графики в отдельных областях, например визуализации данных [78] и исторических артефактов [53], в целом это направление почти не исследовано, а устоявшихся практик и рекомендаций, обеспечивающих тактильное богатство и различимость, немного. Поэтому мы развиваем единственную предшествующую работу по созданию вышитой тактильной графики [78]. В ней предложены метод вышивания шрифта Брайля и оптимизация назначения текстур областям тактильной диаграммы, а качественные данные показывают, что пользователям с нарушениями зрения полученные диаграммы нравятся примерно так же, как тисненая графика. Seehorn и соавторы показали потенциальную ценность вышитой тактильной графики [78]; настоящая работа объясняет, как проектировать тактильную графику с учетом материальных возможностей вышивки, например вариативности стежков и текстуры. Как и в предыдущей работе, мы не автоматизируем упрощение графики для тактильного использования, а сосредоточены на автоматическом назначении текстур при помощи вышивки. Мы также расширяем предшествующую работу: добавляем поддержку таких важных элементов, как линии; описываем сквозной производственный процесс; поддерживаем встроенное вышивание шрифта Брайля1; и приводим количественные данные о различимости тактильной графики. Наш вклад состоит в следующем:

Ручное проектирование тактильной графики для машинной вышивки. Независимо от способа изготовления главная задача состоит в том, чтобы проектировать тактильную графику с учетом возможностей соответствующей техники. В новых работах описаны некоторые особенности вышивки как средства передачи графической информации, например визуализаций данных [2, 84], но обычно речь идет о визуальной привлекательности, а не тактильной ясности. Мы представляем вручную разработанную тактильную графику, выполненную машинной вышивкой, в двух областях: книге для маленьких детей и научных диаграммах. На этой основе мы обсуждаем требования к дизайну вышитой тактильной графики.

Категоризация и автоматическое назначение текстур. Чтобы поддерживать тактильный дизайн, система должна позволять создавать схемы вышивки, в которых приоритет отдается тактильной разборчивости и осязательной различимости, а не только эстетике для зрячей аудитории. Мы расширяем работу [78], поддерживавшую лишь заполненные текстурой области, и добавляем новую категорию визуальных элементов — линии. Мы собрали показатели текстурированных линий и областей и разработали алгоритм оптимизации, который назначает текстуры изображениям с линиями, областями и границами вокруг областей.

Процесс печати. Вышитую графику и книги можно изготавливать разными средствами, включая автоматические и ручные вышивальные машины и ручную работу специалистов, однако быстрее всего машинная вышивка. При этом печать и сборка непросты из-за необходимости переворачивать ткань; в предшествующей работе отдельные брайлевские подписи просто приклеивали на место [78]. Чтобы упростить машинную вышивку, мы разработали интегрированный процесс надежного изготовления вышитой тактильной графики со шрифтом Брайля. Изготовление одного изображения от начала до конца занимает около четырех часов и выполняется на вышивальной машине стоимостью около 3000 долларов.

После вводных сведений о тактильной графике и машинной вышивке в разделе 3 описано наше ручное исследование дизайна тактильной графики, выполненной машинной вышивкой вместе с машинно вышитым текстом Брайля. Затем в разделах 4 и 5 изложен автоматизированный метод назначения вышивальных текстур тактильным диаграммам. В разделе 6 описан процесс печати изображений с брайлевскими подписями. Как указано в разделе 7, мы оценили полученную графику в исследовании различимости вышитых тактильных диаграмм. Исследование с участием слепых и слабовидящих людей показало, что вышитая тактильная графика была для участников разборчивой и понятной. Отзывы участников также указывают на важные требования к дизайну: текстуры должны подбираться осознанно и отчетливо различаться. Кроме того, они обозначают направления дальнейшей работы по улучшению вышитой тактильной графики, особенно более сложных изображений.

Предпосылки

Эта работа соединяет две в основном обособленные области: проектирование и изготовление тактильной графики для слепых и слабовидящих людей и практику машинной вышивки для изготовления объектов. Сначала мы описываем существующие процессы изготовления тактильной графики и некоторые направления исследований и инноваций в этой области. Затем, опираясь на теорию тактильной семиотики, рассматриваем трудности интерпретации, возникающие при использовании этих методов. Далее мы описываем способы улучшить тактильное понимание, основанные на тактильной семиотике и существующих стандартах создания тактильной графики. Наконец, приводим относящиеся к делу термины и процессы машинной вышивки, уделяя основное внимание физическим свойствам, важным для создания тактильной графики, а также новым применениям в физических вычислениях и доступности. Во всех этих областях мы отмечаем вопросы, которые требуют дальнейшего изучения для обоснованного создания вышитой тактильной графики.

Тактильная графика

Изготовление тактильной графики

Для проектирования тактильной графики существуют устоявшиеся рекомендации [59], хотя эту тему продолжают исследовать [68, 76]. Процесс обычно начинается с преобразования изображений в формат, подходящий для тактильного представления, после чего графику изготавливают одним из доступных методов или на одном из носителей. На первом этапе изображение или диаграмму необходимо упростить до формата, пригодного для тактильного восприятия. Автоматизация этого этапа остается нерешенной задачей [68], хотя в ранних работах исследовались общие решения (например, [44]).

После проектирования графику необходимо напечатать или воспроизвести в тактильной форме [68]. Большинство тактильных изображений выполняют тиснением или на вспучивающейся бумаге. Для брайлевских принтеров [27] исходный файл изображения нужно преобразовать в формат тиснения, задающий высоту, размер и интервалы точек, которые пробиваются на плотной бумаге. Графику на вспучивающейся бумаге делают из микрокапсульной бумаги, которую нагревают для образования рельефных линий и поверхностей. Оба способа непомерно дороги в условиях ограниченных ресурсов [20]. Предыдущие исследования в таких условиях рассматривали альтернативы существующим методам изготовления тактильной графики. Например, изображения можно создавать на принтере брайлевских символов [20] либо вырезать трафареты недорогой режущей машиной и с их помощью выполнять тиснение на бумаге [97].

Другие работы исследовали новые средства вывода [62], включая трехмерную печать и двумерные активные дисплеи. Например, Kim и Yeh создали для слепых детей подвижные тактильные книжки с картинками, изготовленные трехмерной печатью [50]. Совсем недавно к этому направлению добавилась вышивка [53, 78]. Однако остается много вопросов: как проектировать вышитую графику, как надежно ее изготавливать и насколько она различима на ощупь.

Трудности понимания тактильной графики

При упрощении формата изображения или диаграммы большинство существующих методов изготовления тактильной графики ограничивает разнообразие воспроизводимых текстур [60] и сокращает множество тактильных изображений, которые можно изготовить [13]. В результате немодифицированная тактильная графика часто не соответствует ожиданиям пользователей по понятности [76]. Для ясной и эффективной тактильной коммуникации нужно не только понимать тактильный контраст и расположение элементов, но и распознавать и использовать значения, приписываемые различным видам тактильных ощущений, как это описывает теория тактильной семиотики [35]. Тактильная семиотика опирается на принцип более ранних видов семиотики, например лингвистической [8] и эстетической [47]: у каждого канала передачи информации есть набор правил или кодов передачи смысла, которые могут определять параметры дизайна [35]. Ограничение тактильного диапазона, присущее основным технологиям изготовления тактильной графики, может сокращать, опускать или затруднять восприятие существенной информации [79]. Это нарушает такие семиотические параметры и ведет к тому, что ожидания в отношении понятности графики не оправдываются.

Способы улучшения тактильного понимания

Ряд исследований природы сенсорного кодирования выявил критерии эффективного тактильного понимания [35, 36, 49]. Ранние работы по тактильному дизайну и осмыслению показывают: для тактильного понимания ассоциации должны быть общими, а наиболее универсальные ассоциации обычно формируются физической природой осязаемого объекта. Конкретные физические свойства объекта, например восприятие древесного гриба как «грубого» либо «нежного», позволяют прийти к общему пониманию через осязание. Такое общее понимание реальных свойств природных и органических материалов у разных людей возникало легче, чем в случае репрезентативных синтетических материалов [35].

Исследования тактильного понимания, уделяющие особое внимание слепым и слабовидящим людям, уточняют критерии тактильного осмысления и добавляют новые, потенциально противоречащие им критерии. Например, хотя точное воспроизведение физических свойств объекта создает общее тактильное понимание, Gupta и соавторы обнаружили, что упрощенные двумерные формы эффективнее передают информацию и помогают ее запоминать, чем подробные, «визуально правильные» изображения [36]. Вынужденное чрезмерное упрощение может ухудшать понятность [76, 79], однако само упрощение не противоречит проектированию для тактильного понимания. Избыток информации в тактильной графике также затрудняет понимание [13]. Поэтому часть искусства создания тактильной графики состоит в упрощении исходного изображения; отдельное направление исследований посвящено автоматизации преобразования визуальной информации в пригодный для тактильной графики формат, включая упрощение, постеризацию и проецирование трехмерных моделей в двумерное пространство [44, 62, 66].

В нескольких работах исследовалась автоматизация отдельных частей этого процесса (например, [20, 44, 66]). Методы машинного обучения применяли для создания тактильной графики из исходного изображения: они классифицировали графику, разбирали изображение на отдельные области и текстовые блоки и упрощали его [62]. Оптимизацию использовали для улучшения тактильной графики, например для настройки представления информации на тактильных картах [42] и преобразования трехмерных моделей в двумерные изображения [66]. Однако до надежной автоматизации этого этапа для всего диапазона возможных изображений предстоит сделать еще многое.

Помимо упрощения, работы с семиотической мотивацией, например Kennedy и соавторов, подчеркивают важность конкретных репрезентативных признаков, таких как границы и контуры: они помогают ориентироваться в тактильных иллюстрациях и понимать их [49]. Как и в случае упрощения, предпринимались попытки автоматизировать добавление границ и контуров в разных видах графики, включая рельефные иллюстрации [54], обновляемые брайлевские дисплеи [67] и, недавно, вышитые нашивки [52]. Принципы тактильной семиотики также применялись в разных контекстах передачи информации, особенно там, где важна выразительность: в мультисенсорных представлениях изобразительного искусства [7], дизайне материалов для обучения маленьких детей естественным наукам [5] и тактильном рисовании [48].

Машинная и автоматическая вышивка

Машинную вышивку редко использовали для создания тактильной графики, однако вышивку все чаще описывают как средство физического представления данных [64, 84, 91]. Обычно к ткани прикрепляют подложку, после чего ткань натягивают в пяльцах, удерживающих ее во время вышивания. Затем машина прокладывает стежки, создавая узоры или текстуры. Возможности вышивки не ограничиваются укладкой нити разными стежками: в нее можно включать другие материалы и техники (например, [26, 37]). Ниже мы описываем типичный процесс машинной вышивки и связанные с ним исследовательские эксперименты.

Обычный процесс машинной вышивки начинается с выбора ткани. Подробные разборы конкретных материалов опубликованы в других работах (например, [23, 69]). Ткань часто прикрепляют клеем или иным способом к жесткой подложке. Подложки выбирают по нескольким свойствам, например определенной жесткости или растворимости в воде. Как и при ручной вышивке, машинную вышивку обычно выполняют внутри рамки, удерживающей ткань и подложку. Совмещение трехмерной печати и вышивки позволяет создавать специальные эффекты (например, [33, 34]). Для этого использовали изготовленную на заказ вышивальную рамку, сопряженную с трехмерным принтером исследователя [33].

Затем загружают и выполняют узор, который по существу представляет собой траекторию. Машинное шитье требует как минимум двух нитей. Одну нить проводят через ткань сверху на изнанку. Вторую подают снизу, чтобы захватить верхнюю нить и сформировать вышивальные стежки. Нити могут быть изготовлены из разных материалов. Во многих исследованиях вычислительного текстиля используют проводящую нить, хотя также проводились эксперименты с водорастворимой нитью [17], проволокой [63], оптоволокном [24] и другими специальными нитями [19, 38, 90]; появляются и проводящие, но при этом экологичные нити [19].

Традиционно швейная игла проводит нить вниз через ткань и создает стежки. Альтернативой служит прорезная игла, разрезающая ткань. Обычная швейная машина может иметь множество лапок, облегчающих перемещение ткани и выполнение разных стежков. У вышивальных машин выбор обычно меньше, однако в исследованиях применялась лапка для выкладной нити: толстую нить укладывают на поверхность ткани и закрепляют зигзагом более тонкой нитью. Выкладная нить использовалась во многих областях, от искусства [10, 39, 95] до сенсорных систем [75], в том числе для создания интерактивного проводящего текстиля.

Автоматизированная и машинная вышивка [58] позволяет создавать формованные структуры (например, [3, 11, 31, 33, 45, 63, 73, 83, 96]) и интерактивные объекты [30, 33, 87, 93], а также воспроизводить длинный перечень электронных функций (например, [1, 15, 32, 38, 45, 85, 89, 95]). Некоторые работы рассматривают частные задачи, например сочетание жестких и мягких компонентов (например, [9, 61]). Поскольку ориентация и плотность стежков имеют большое значение [88], в исследованиях вышивки также изучалась интеллектуальная генерация траекторий стежков (например, [56, 86]). Насколько нам известно, в этих работах потенциальное применение таких возможностей в тактильной графике не рассматривалось.

Вместе с тем исследования рассматривали другие применения шитья и вышивки в области доступности [82]: умную скатерть для обратной связи в опросе во время представления [92], коммуникационную панель для иппотерапии [72], вспомогательную одежду для локализации звука [71], куртку, которая сама оборачивается вокруг человека, испытывающего трудности при надевании одежды [55], тактильное музыкальное устройство для сенсорной интеграции и стимуляции [16] и проект FlexAbility [12], предоставляющий людям с инвалидностью индивидуальные интерактивные носимые устройства. Текстильные и вышитые интерфейсы также поддерживали взаимодействие без зрения [29, 92]. Например, Giles и соавторы (2018) вместе со слепыми и слабовидящими мастерами и художниками исследовали создание тактильных интерфейсов с емкостными кнопками. Участники контролировали творческий процесс и изготовили разные функциональные и повествовательные объекты. Слепой художник Clarke Reynolds использует в своих работах вышивку наряду с другими материалами [80]. Однако вышитая тактильная графика остается малоизученной.

Ручное проектирование тактильной графики для машинной вышивки

Чтобы понять возможности вышивки как средства передачи тактильной информации и необходимые требования к ней, команда сочетала ручное и машинное проектирование в двух областях: иллюстрациях для детской книги и научных диаграммах. Эти примеры выбрали так, чтобы охватить разные тактильные потребности — от передачи письменной информации до пространственных и насыщенных контекстом деталей — и выявить виды деталей, которые вышивка должна осмысленно кодировать. Мы стремились не только оценить материальные возможности вышивки, но и понять, как создавать тактильную графику, поддерживающую разборчивость и осязательное богатство. Каждый пример ставил особые задачи дизайна и помог понять, как приспособить вышивку к незрительному, а не зрительному восприятию. Брайлевские точки мы выполняли по методу [78] текстурой узелкового стежка Candlewick из нашей программы Embrilliance™.

Детская книга

Первое исследование должно было помочь понять, насколько богатой должна быть тактильная форма для передачи насыщенной визуальной информации. Для этого мы испытывали вышивку вместе с дополнительными техниками: экспериментировали со встроенными стежками и сочетали материалы там, где одной вышивки было недостаточно. Рассматривая столь широкое пространство возможностей, мы хотели освободить рекомендации по дизайну от существующих технических ограничений. Поскольку вышитая графика долговечна, уместно рассматривать варианты, требующие больше ручного труда или ремесленной работы, и разрабатывать рекомендации как для создателей программ, так и для тактильных дизайнеров. Это открывает возможность выйти за рамки повторного использования библиотек стежков, рассчитанных на зрительное восприятие, и создавать типы стежков и дизайн-системы специально для тактильной выразительности.

Команда проанализировала популярную детскую книгу «Там, где живут чудовища» с подробным визуальным повествованием. Из-за длины книги была создана сокращенная версия. Следуя модели грамотности «декодировать, получать доступ, сообщать и понимать информацию» [28], команда проанализировала книгу и определила способы передачи сведений в сценах. Вместо простого воспроизведения письменного сюжета были выделены информативные визуальные элементы, например сердитое выражение лица чудовища и бурное море. Их распределили по категориям: одиночные — ключевой персонаж или объект; фоновые — рельеф, листва, вода; объемные — декоративные элементы, передающие глубину (рисунок 3a). Были отмечены свойства, передаваемые зрительно, например пушистый мех, после чего команда искала способы передать их тактильно и создавала прототипы с разными доступными запрограммированными стежками.

Эксперименты дали вышитые элементы с разными типами и плотностью заполнения, но также выявили трудности передачи визуальной информации зрительно различимыми стежками, доступными на машине. Например, команда не сочла текстуру главного героя книги достаточно отличимой от элементов окружения, таких как деревья (рисунки 3b и 3c). Когда одной вышивки было недостаточно для передачи конкретных текстур, например пушистого меха или холодного камня, мы дополняли изображения накладками из ткани и трехмерными элементами, вырезанными лазером из фетра, атласа и дерева. Эти тактильные элементы следуют рекомендации Norman: тактильное представление должно напоминать передаваемый реальный объект [65]. Они также послужили исследовательской пробой того, как в тактильном дизайне могло бы выглядеть ничем не ограниченное различение текстур. Добавление трехмерных элементов опирается на работы, согласно которым они обогащают тактильный опыт по сравнению с двумерным содержимым, даже если оно текстурно разнообразно [6, 51]. Получился прототип тактильной книги с вышитым текстом Брайля и вышитыми многоматериальными изображениями. Использовались вышивка и другие материалы: атлас для волн (рисунок 2a), дерево для корабля (рисунок 2a) и фетр для меха лиса (рисунок 2b).

Научные диаграммы

Второе исследование должно было расширить наше понимание ценности вышитой тактильной графики для научных диаграмм. Следуя стандартам создания тактильной графики [59], мы изготовили два изображения. Первым была столбчатая диаграмма. Мы назначили ей текстуры с помощью оптимизации, описанной в [78]. Мы отметили, что отсутствие поддержки линий снижает разборчивость оси и делений. Второе изображение, сердце, получило текстуры вручную. Это была довольно сложная графика с пятью текстурами и линиями.

Мы обнаружили, что приклеиваемые брайлевские подписи было трудно крепить к краю ткани с текстом Брайля: вокруг каждой подписи образовывалась рельефная линейная область, которая иногда неприятно выделялась. Кроме того, клей не всегда держал надежно. Линейный континуум назначения текстур из [78] хорошо работал для графики с небольшим числом разных текстур, однако на более сложной графике масштабировался хуже из-за различий в различимости текстур. Это побудило нас формализовать факторы, влияющие на различимость текстур, как описано в разделе 4.3.

Требования к проектированию вышитой тактильной графики

На основе наших экспериментов и предшествующей работы [78] мы сформулировали следующие требования к проектированию вышитой тактильной графики:

Гладкая основа. Как описано в [77], муслиновая ткань была настолько грубой, что отвлекала от вышитых текстур. Атласная основа, использованная в книге, оказалась гораздо приятнее на ощупь.

Линии необходимы. Для широкого диапазона выразительности линии необходимы и в книге, и в научных диаграммах. Без линий области диаграмм было труднее различать, тогда как линии позволяли создавать сложные текстуры, например волны на рисунке 2a.

Вариации стежков — самый простой способ передавать информацию. Многоматериальные элементы обогатили нашу книгу, однако их интеграция требовала чрезвычайно много ручного труда и плохо масштабировалась. Каждый визуальный элемент — пушистый, гладкий или шероховатый — требовал осознанного выбора материала и ручной сборки, например наложения слоев ткани и шитья вручную.

Диапазон выразительности важен для тактильной разборчивости. Хотя стежки применять проще всего, коммерческие программы и машины отдают приоритет визуальной эстетике и зрительной различимости стежков. В этом исследовании ручной поиск различимых узоров потребовал множества проб и ошибок. Многие визуально привлекательные варианты давали рисунки, которые не воспринимались на ощупь или были недостаточно выразительными. Необходимы тщательный выбор и проверка стежков либо более качественный выбор на основе данных.

Это исследование выявило критическую потребность лучше понимать, как ощущаются разные виды вышивки, а не только как они выглядят: лишь тогда вышивка сможет передавать информацию так же богато, как многоматериальный дизайн. Нужны рекомендации о том, что делает текстуру подходящей и разборчивой для конкретной задачи. В следующем разделе (4.1) мы исследуем этот пробел: классифицируем свойства вышитых текстур и выясняем, что делает их отличимыми и разборчивыми.

Категоризация вышитых текстур

Ручные эксперименты с созданием тактильной графики выявили пробел в понимании того, какой должна быть подходящая, разборчивая и богатая деталями текстура вышитой тактильной графики: зрительно различающиеся узоры стежков не обязательно достаточно различаются на ощупь. Предыдущие работы подтверждают этот пробел. Prescher и соавторы [70] отмечают, что тактильный контраст нельзя надежно предсказать визуально: две разные на вид текстуры могут ощущаться одинаково. Чтобы лучше понять различия между вышитыми текстурами, мы вышили образцы разнообразных текстур и систематически классифицировали их по шести взаимодополняющим показателям тактильных различий. Вышитые текстуры разделены на три категории: для заполненных двумерных областей, для линий и для точек.

Набор данных вышитых текстур

Мы собрали набор из 55 текстур, доступных в программе для вышивки Embrilliance [25]. Несколько текстур, которые оказались очень похожими, исключили; осталось 34 текстуры для заполненных областей и 21 текстура для линий. Четыре текстуры областей можно было также использовать для точек. Подробные определения стежков приведены в Embrilliance™, а здесь мы кратко описываем несколько важных примеров:

Прямой стежок, обратный стежок и стебельчатый стежок позволяют создавать линии (рисунок 5a). Ими также можно заполнять области, например при контурном заполнении (рисунок 5b).

Гладь создает гладкое заполнение области произвольной формы длинными или короткими параллельными стежками. В образцы вошли 10 разных видов текстур заполнения гладью (рисунок 5c). Гладью можно также создать широкую линию.

Повторяющиеся мотивы, например крест, показанный на рисунке 5d, можно использовать для украшения линии или заполнения области. В образцы вошли разные варианты креста и других мотивов.

Узлы можно использовать для создания линии (рисунок 5e), обозначения точки одним узлом или заполнения области, если соседние узлы образуют заполненную фигуру. Один из примеров — узел Candlewick; в перевернутом виде именно этим стежком мы печатали брайлевские точки.

Изготовление и оценка образцов

В программе Embrilliance [25] мы загрузили SVG окружности диаметром 25 мм. Для оценки текстур областей ими заполняли круг, а для оценки текстур линий прошивали ими окружность. Для максимальной точности каждую текстуру вышивали черной нитью на кремово-белом атласе с отрезным стабилизатором в качестве подложки. Эти цвета обеспечивали максимальный зрительный контраст, поскольку показатель пустого пространства вычисляли компьютерным зрением. Использовалась машина Janome MC 15000 со стандартным натяжением, одинаковым для всех стежков. После вышивания лазером вырезали квадрат 52 × 52 мм с каждой текстурой области и квадрат 30 × 30 мм с каждой текстурой линии.

Измеряемые величины

Текстуры тактильно различаются по множеству признаков. Например, контраст двух гладких текстур разной высоты может быть меньше контраста между гладкой низкой и шероховатой высокой текстурой. Поэтому для описания различий мы использовали сочетание числовых и номинальных величин; если не указано иное, они не привязаны к конкретной машине или программе. К ним относятся:

Число стежков (номинальная, дискретная величина)

Число стежков в однородной области текстуры служит оценкой ее плотности: большое число означает высокую плотность. Embrilliance™ автоматически сообщала этот показатель на основе рассчитанной траектории стежков каждой текстуры (рисунок 6a).

Масса (номинальная, непрерывная величина)

Масса измеряет количество нити в узоре. Она немного отличается от числа стежков, поскольку длина нити в одном стежке бывает разной. Поэтому при одинаковом числе стежков вариант, расходующий больше нити, будет тяжелее. Массу каждого образца измеряли на весах с точностью 0,001 г, как показано на рисунке 6b. Тип нити и ткани во всех образцах был одинаковым и не должен влиять на распределение масс.

Высота (номинальная, непрерывная величина)

Высота текстуры показывает, насколько нить каждого стежка выступает над тканью и создает тактильное ощущение глубины. Это помогает различать похожие текстуры с общей границей (например, рисунок 6c). Высоту каждой текстуры измеряли штангенциркулем с точностью 0,1 мм.

Пустое пространство (номинальная, непрерывная величина)

Доля пустого пространства в узоре приблизительно показывает, насколько при прикосновении к узору ощущается лежащий под ним атлас. Для расчета каждый вышитый узор фотографировали при одинаковых угле камеры, расстоянии и освещении. Фотографию переводили в черно-белый вид (рисунок 6d), обрезали по вышитому кругу и вычисляли отношение числа пикселей узора к общему числу пикселей.

Направление (категориальная величина)

Направление обозначает основной ход стежков в текстуре и применимо только к текстурам областей. Оно важно при проектировании тактильной графики, поскольку помогает пользователям понять ориентацию области. Направление определяется ориентацией, ходом и текстурой. Например, на рисунке 7 левая текстура была бы диагональной и горизонтальной, средняя — сетчатой, правая — неупорядоченной. Для каждого образца зрячий исследователь назначал одну из пяти категорий направления: неупорядоченные текстуры со случайным или непостоянным ходом (9%); горизонтальные, где стежки выровнены по строкам (24%); вертикальные, где стежки выровнены по столбцам (21%); сетчатые, выровненные и по строкам, и по столбцам (15%); а также две категории диагональных текстур, идущих слева сверху вправо вниз (15%) либо справа сверху влево вниз (42%).

Категория мотива (категориальная величина)

Мотивы описывают классификацию вышивальных стежков, распространенную в практиках вышивания. Каждому образцу мы назначили категорию мотива по типу, определенному в Embrilliance [25]. Мы ожидаем, что в других программах можно получить очень похожие узоры, хотя их названия могут отличаться. Для областей использовались восемь категорий заполнения: candlewick, узел, крупный мотив, крест, гладь, декоративное, квадратное и пустое. Для линий применялись восемь категорий: крест, заполнение гладью, граница гладью, французский узел, автономное кружево, повтор контура, пунктирное заполнение и прямой стежок.

Сложность стежка (категориальная величина)

Независимо от категории мотива мы дополнительно классифицировали сложность узора по форме повторяющихся стежков каждой текстуры. Зрячий исследователь назначал каждому образцу категорию по следующим критериям: простая (55%), если текстура состоит только из прямых линий, например креста или горизонтальных линий; повторяющаяся (39%), если имеется повторяющийся мотив с промежутками; сложная (6%) — для всех остальных узоров.

Пользовательские оценки текстур (номинальная, категориальная величина)

Слепые и слабовидящие члены команды участвовали в ранжировании набора текстур. Текстуры располагали по воспринимаемой шероховатости: более высокие значения означали более шероховатую текстуру. Пользовательское ранжирование повторили дважды на двух наборах. Первый включал все 55 текстур. Из второго исключили восемь очень похожих текстур: три очень шероховатые и пять очень гладких. В результате получились два набора измерений.

Итоги

В ходе категоризации мы выявили семь тактильных свойств, влияющих на различение и восприятие вышитых текстур. К свойствам, определяющим тактильную различимость вышивальных стежков, были отнесены число стежков, масса, высота, пустое пространство, направление, категория мотива, сложность стежка и воспринимаемая текстура. Эти различительные признаки составляют основу нашего подхода к оптимизированному выбору отличимых текстур — ключевой части процесса изготовления тактильной графики, описанного в следующем разделе.

Выбор текстур для незрительного различения в вышитой тактильной графике

В предыдущем разделе 4 мы выявили ключевые признаки, влияющие на воспринимаемость и различимость вышивальных стежков. Здесь эти результаты используются для автоматизации дизайна тактильной графики с различимыми текстурами. В частности, мы стремимся масштабировать изготовление графики с четко обозначенными областями, каждая из которых представляет свой вид визуальной информации. Для разборчивости соседние области должны существенно различаться, чтобы на их границе ясно ощущалась смена текстуры. Кроме того, каждой области нужна уникальная текстура, позволяющая читателю по ощущению вспоминать значение области. При этом области не обязаны быть непрерывными: несколько подобластей могут иметь общую текстуру для обозначения одного понятия. Например, на схеме живой клетки несколько областей могут изображать органеллы одного типа одинаковой текстурой. Для автоматизации выбора мы создаем алгоритм оптимального выбора и назначения текстур тактильной графике с разнообразными областями.

Оптимизируемая модель незрительного различения в тактильной вышивке

Мы моделируем вышитую тактильную графику как образующее граф множество элементов i ∈ ℝ, где каждая вершина — область, линия или точка. Участок, не покрытый областью, линией или точкой, не вышивается, то есть остается белым или пустым. Каждый элемент i соседствует с множеством соприкасающихся с ним элементов, обозначаемым ℕi. Каждой области назначается вышивальная текстура ti. Элементы бывают областями, покрывающими двумерную часть графики, линиями, следующими по траектории, либо точками. Тип элемента ограничивает набор подходящих текстур, поскольку одни текстуры способны покрывать области, другие — следовать заданной траектории или четко обозначать конкретное место. При оптимизации каждому элементу нужно назначить текстуру так, чтобы контраст между соседями и по всей графике был достаточен для распознавания каждого элемента и его границ. Это представление сходно с моделью тактильных карт Hofmann и соавторов [42].

Метод оптимизации

Цель оптимизации — назначить текстуру ti каждому элементу i графики. Мы используем стохастический алгоритм подъема на вершину — такую конфигурацию применяли и другие инструменты текстильного дизайна [43]. Начав со случайного назначения текстур элементам, мы итеративно изменяем это соответствие. Каждая графика оценивается целевой функцией, максимизирующей контраст текстур между соседями и в целом. Каждое новое соответствие сохраняется в популяции найденных вариантов. На каждой итерации из нее выбирается графика со смещением в пользу лучшего результата. Затем выбирается способ изменить соответствие текстур элементам, который, согласно набору эвристик, должен сильнее всего повысить целевую оценку (рисунок 9). Метод реализован в среде OPTIMISM [40], описанной Hofmann и соавторами [41].

Мы используем 54 текстуры: 34 для областей и 20 для линий. Линейную текстуру Run-double не включили в оптимизацию: напечатав с ней несколько образцов, мы решили исключить ее, поскольку она была слишком тонкой и плоской, чтобы распознаваться как линия. Пять текстур для точек выбрали из подмножества текстур областей с теми же вычисленными значениями. Если один цвет используется для нескольких типов элементов, текстура выбирается из меньшего набора, допустимого для всех соответствующих типов.

Целевая функция

Процесс оптимизации управляется целевой функцией, оценивающей качество конкретного соответствия областей текстурам для заданной тактильной графики. Она представляет собой взвешенную сумму целей, оценивающих отдельные критерии. Максимизация ее оценки повышает разборчивость вышитой тактильной графики. В среде OPTIMISM [40, 41] каждая цель является функцией, возвращающей значение от нуля для плохой графики до единицы для хорошо работающей. Распределение оценки каждой цели задается гауссовой колоколообразной кривой, стремящейся к единице, когда возвращаемое значение близко к заданному целевому значению α. Параметры кривой каждой цели перечислены в приложении D.

Ниже описаны четыре категории целей, составляющих эту целевую функцию:

Контраст соседей

Для разборчивости графики критически важно, чтобы все соседние элементы контрастировали и различались на ощупь. Контраст можно получить за счет нескольких свойств текстуры (раздел 4.3). Например, плотная и тяжелая текстура хорошо отличается от менее плотной и легкой. Разные мотивы и сложность стежков также позволяют различить две текстуры. Единственного правильного способа различить текстуры любых двух соседних областей нет.

Контраст двух текстур оценивается как доля различающихся свойств в полном наборе из семи свойств. Два категориальных свойства — направление, мотив и сложность стежка — различаются, если текстуры принадлежат к разным категориям. Два номинальных свойства — число стежков, масса, высота и доля пустого пространства — различаются, если абсолютная величина разности превышает диапазон значений этого свойства в нашем наборе данных, деленный на число элементов оптимизируемой тактильной графики.

Чтобы никакие два соседних элемента графики не имели неразличимых текстур, мы задаем первую цель: минимальный контраст соседних текстур. Ее значение линейно приближается к единице по мере приближения минимального контраста к целевому значению альфа, по умолчанию равному пяти на основании эмпирических испытаний.

Чтобы увеличить контраст всех соседних элементов графики, мы задаем вторую цель: максимизировать средний контраст соседних текстур. Ее значение линейно приближается к единице по мере приближения среднего контраста к целевому значению шесть, определенному эмпирически в пилотных испытаниях.

Общий контраст

Как и в случае контраста соседних элементов, качественная тактильная графика должна включать разнообразные текстуры с высоким контрастом. Представим, что читатель исследует два фрагмента изображения двумя разными пальцами: даже если эти объекты не соседствуют, текстуры должны различаться настолько, чтобы читатель мог помнить, какой палец касается какого объекта.

Для оценки контраста между двумя текстурами мы используем тот же метод, что и для оценки контраста соседних элементов. Чтобы оценить общий контраст изображения, мы добавляем две целевые функции: одна измеряет минимальный контраст по всему изображению, другая — средний. На основании эмпирических испытаний мы по умолчанию задаём целевой минимальный контраст равным четырём, а целевой средний — пяти. Эти целевые значения ниже значений по умолчанию для функций контраста соседних элементов, поскольку особенно важно, чтобы непосредственно соприкасающиеся текстуры контрастировали и объекты можно было различить.

Разнообразие мотивов строчки

Текстуры могут контрастировать по многим показателям, однако предыдущая работа показала, что распределение текстур с широким набором типов строчки делает изображения понятнее [78]. Возможно, причина в том, что различия таких параметров строчки, как плотность и высота, создают тактильный контраст, но каждый уникальный мотив легче распознать и запомнить.

Чтобы обеспечить широкий набор мотивов строчки, мы вводим целевую функцию, равную доле мотивов, использованных в сопоставлении объектов и текстур, от общего числа доступных мотивов (то есть шестнадцати мотивов в Embrilliance [25]). Кроме того, мы хотим, чтобы объекты были равномерно распределены по мотивам. Например, категория текстур с гладьевым мотивом содержит десять очень гладких текстур, а категория с узелковыми мотивами candlewick и knot — шесть очень шероховатых текстур. Хотя в этой совокупности есть разные контрастные текстуры, тактильное изображение, состоящее преимущественно из гладьевых текстур и лишь одной текстуры candlewick, которая обычно шероховата, было бы трудно интерпретировать. Чтобы сбалансировать категории мотивов, мы добавляем ещё две целевые функции: одну для числа гладьевых текстур, другую — для числа мотивов candlewick и knot. Целевое значение каждой из них равно единице, поскольку в идеале в изображении должна быть только одна текстура каждого такого мотива.

Итоги

В совокупности эти целевые функции позволяют построить алгоритм оптимизации, который назначает областям тактильной графики типы строчки на основании измеримых различий тактильных свойств. Учитывая и контраст соседних элементов, и общий контраст, алгоритм стремится повысить текстурное разнообразие и различимость изображений при чтении на ощупь. Модель поддерживает разные типы элементов: области, линии и точки. Такой подход обеспечивает автоматизированное и масштабируемое назначение текстур в тактильной графике.

Процесс создания вышитой графики

На основе алгоритма оптимального назначения текстур мы разработали сквозной процесс преобразования визуальной графики в физическую вышитую тактильную графику. Сначала берётся SVG-файл, содержащий разные части тактильного изображения. Его передают алгоритму оптимизации, который назначает текстуру строчки каждой области. Затем SVG-файл загружают в программу редактирования вышивки Embrilliance™, где выбранные алгоритмом текстуры применяют вручную. После этого изображение вышивают на вышивальной машине: материал закрепляют в пяльцах, вышивают файл строчек, затем переворачивают материал в пяльцах и вышивают подписи шрифтом Брайля. Постобработка включает стирку, глажение и обрезку свисающих нитей. Подробнее каждый этап описан в следующих подразделах; их последовательность показана на рисунке 1.

Требования к SVG-файлу

Наш процесс предполагает, что SVG-файл с предназначенной для вышивания тактильной графикой уже создан вручную. SVG — векторный формат изображений на основе XML. Файл может содержать контуры, которые служат линиями или заполненными областями; базовые фигуры, например замкнутые многоугольники, окружности и прямоугольники; а также текст, который мы не поддерживаем. Наш процесс поддерживает контуры, полученные операциями над контурами, например пересечением или разностью, но при использовании Embrilliance™ некоторые такие операции могут исчезнуть после загрузки SVG, и их придётся повторно применить в программе. Наша реализация также не поддерживает продвинутые приёмы, такие как обтравка, маскирование и композиция. У элементов могут быть цвет, заливка для областей, цвет обводки для линий и ID — строковая метка элемента. Если у контура есть заливка и отличающаяся от неё по цвету обводка ненулевой толщины, процесс распознаёт и заполненную область, и окружающую её границу как линию. Чтобы SVG работал в нашем процессе, мы предъявляем следующие требования:

У связанных областей должны совпадать значения цвета заливки и обводки. Например, рибосома, одна из частей клетки, может встречаться несколько раз, поэтому всем рибосомам на изображении нужно задать один цвет. Оптимизация назначит всем областям одного цвета одну и ту же текстуру.

Поскольку точка представляет собой всего лишь крошечную окружность, её следует отличать от заполненной области, добавляя слово «point» в ID этой области.

Если граница создана контуром без заливки, в ID этой области должна присутствовать строка «border», чтобы область распознавалась как линия.

Итеративно совершенствуя вышитые образцы, мы также выяснили, что границы между областями и небольшие белые промежутки могут помочь лучше различать соседние области (рисунок 10).

С помощью XML-парсера мы извлекаем каждый элемент, связанный с ним цвет и его тип: линия, точка или заполненная область. Помимо этой основной информации, алгоритму оптимизации необходимо знать, какие элементы соседствуют друг с другом.

Чтобы оценить соседство, мы используем ограничивающую рамку каждого элемента e. Для линий рамка вычисляется в предположении, что толщина линии равна одному пикселю. Два элемента считаются соседними, если их ограничивающие рамки перекрываются или имеют общую границу. Эти сведения сохраняются как множество областей и передаются алгоритму оптимизации, описанному в разделе 5.

У такого подхода есть ограничения — например, когда фигура имеет U-образную форму или повёрнута. Многие фигуры не являются точными прямоугольниками, поэтому их ограничивающая рамка включает участки, не принадлежащие фигуре. В результате несоседние фигуры могут быть ошибочно признаны соседними, однако это не ухудшит качество изображения: к этим двум фигурам лишь будет предъявлено более строгое требование по контрасту.

Вышивание изображения

После того как алгоритм оптимизации назначает текстуры всем областям изображения, в Embrilliance™ создают файл строчек: загружают SVG-файл и назначают текстуры каждой области. Затем файл строчек через USB-накопитель загружают в машинную вышивальную машину — мы использовали Janome S9 и Janome Horizon, — где его можно вышить на ткани, закреплённой в пяльцах. В качестве фона мы выбрали атлас из-за его гладкости. Чтобы уменьшить стягивание изображения при вышивании, с обеих сторон использовали стабилизатор. На лицевую сторону атласа накладывали самоклеящийся водорастворимый стабилизатор: после вышивания его можно смыть, сохранив гладкость ткани. С изнанки применяли нерастворимый в воде стабилизатор, повышающий устойчивость всего изображения.

Создание разборчивого Брайля

Брайль состоит из отдельных единиц — «ячеек», образуемых разными сочетаниями шести возможных точек (см. пример полной шеститочечной ячейки). Мы стремились к тому, чтобы вышитый Брайль соответствовал рекомендациям Braille Authority. Эмпирически мы установили, что в SVG-файле точки должны быть меньше, а расстояния между ними — больше, чем предписано рекомендациями, потому что после вышивания точки получаются крупнее, чем в SVG. В таблице 2 рекомендации Braille Authority сопоставлены с размерами в SVG-файле и с измерениями готовой вышитой и рельефно-печатной графики, выполненными цифровым штангенциркулем. Ещё сильнее уменьшить ширину отдельных точек нам не удалось: строчки начинали вышиваться непоследовательно и рыхло. Точки Брайля мы формировали на челночной стороне заполнения мотивом candlewick knot 3, задав в Embrilliance™ ширину 3,4 мм, высоту 3,5 мм и плотность с расстоянием 2,7 мм между линиями строчки. Эти параметры определили эмпирически по отзывам одного из авторов, имеющего опыт чтения Брайля.

Поскольку для Брайля использовалась челночная сторона строчки, его нужно вышивать с обратной стороны относительно основного изображения. Для этого мы сначала написали программу, которая переводит любую буквенно-цифровую фразу в SVG с зеркальным отображением стандартного визуального Брайля. Кроме того, с обеих сторон ткани применяют стабилизаторы, чтобы стежки не проваливались: иначе Брайль становился бы неразборчивым, а нить чаще цеплялась бы за вышивальную машину.

Вышивание графики

Наш процесс состоит из нескольких этапов: сначала вышивают основную часть изображения, затем ткань переворачивают и с обратной стороны вышивают Брайль. Общее время вышивания составляло примерно от 2 до 4 часов. Постобработка тактильного изображения занимала до 45 минут. Продолжительность зависит от сложности и размера изображения.

Чтобы после переворота ткани правильно совместить Брайль с изображением, перед началом вышивания на ткани размещают пластиковые метки границ пялец. Мы опробовали несколько подходов. Сначала границы наносили непосредственно на ткань с помощью акрилового шаблона и магнитов, надёжно удерживавших материал (рисунок 12a). Однако из-за ручного характера всего процесса мы в итоге обнаружили, что столь же эффективно, но гибче сначала натянуть ткань в пяльцах, а затем вручную приклеить к ней напечатанные на 3D-принтере метки границ (рисунок 12b). Например, приклеивание меток вручную позволяло менять машину и размер пялец, не создавая новый шаблон. Первый метод был немного точнее, но при размещении подписей эта разница была незаметна. В будущей работе можно разработать двусторонние пяльцы для максимальной точности: тогда ткань не придётся вынимать и натягивать заново.

Некоторые изображения после добавления подписей и связанных с ними стрелок оказывались длиннее или шире доступных пялец. В таких случаях изображение вышивали в несколько приёмов. Например, сначала вышивали основную часть, затем переставляли ткань в пяльцах, чтобы вышить Брайль слева или справа. Для правильного совмещения ткани при сдвиге влево или вправо мы спроектировали второй тип метки границ пялец — Т-образный вместо Г-образного; он позволяет вышивать больше изображения слева или справа. Две нижние метки имеют форму буквы T, а две верхние — перевёрнутой T. На рисунке 12 показано, как работают эти метки. Например, на рисунке 12c после вышивания основной части схемы слоёв ткань вынули из пялец, сдвинули вправо, перевернули и снова закрепили, совместив её по двум крайним левым Т-образным меткам; после этого стало возможно вышить подписи Брайля слева от схемы слоёв.

Постобработка вышитой тактильной графики

После того как всё изображение вышито на ткани, материал промывают в прохладной воде, удаляя самоклеящийся водорастворимый стабилизатор. Важно удалить его полностью: липкий остаток затруднит чтение изображения. Несмотря на стабилизаторы с обеих сторон, большинство изображений всё же стягивалось. После завершения вышивания мы испытали два способа уменьшить это стягивание. (1) При блокировке влажную ткань прикалывают к пробковой доске или куску картона и оставляют до высыхания. Булавки размещают по всему периметру так, чтобы растянуть изображение и разгладить складки (рисунок 12d). (2) В другом способе влажную ткань помещают между двумя полотнами и проглаживают верхнее полотно. Полотно под изображением также помогает сохранить стежки и защищает их от утюга. Оба способа уменьшали стягивание, но не устраняли его полностью.

Оценка разборчивости и понимания вышитой тактильной графики

Чтобы понять, насколько хорошо воспринимается вышитая тактильная графика и существуют ли типы тактильных изображений, для которых вышивка подходит особенно хорошо, мы провели небольшое исследование с шестью участниками и четырьмя разными тактильными изображениями. Мы хотели оценить понимание количественными и качественными методами, поэтому выбрали сложные карты и схемы, по которым можно задавать вопросы на понимание. Во время исследования мы также просили участников рассуждать вслух, а затем провели качественный анализ их опыта.

Выбор тактильных изображений

Понимание тактильной графики часто зависит от стиля представления и предметной области информации. Например, из карты университетского кампуса читателю нужно извлечь иные сведения, чем из схемы бактерии в учебнике биологии. Чтобы проверить, даёт ли наш процесс вышивки разборчивые результаты в разных предметных областях, мы изготовили тактильные изображения двух типов — навигационные карты и научные схемы, — причём для каждого типа выбрали по две области, получив четыре категории. В исследование вошли: схема организма, слои геологического объекта, географический регион и план помещения.

Для каждой категории мы разработали SVG-файл. Например, на рисунке 13a показана карта университетского кампуса, а на рисунке 13b — слои планеты. Ради единообразия все SVG-файлы тактильных изображений мы разработали самостоятельно, опираясь на лучшие практики проектирования тактильной графики [59]. Полный набор использованных в исследовании изображений приведён в приложении B.

Методы

Мы провели исследование с рассуждением вслух, чтобы оценить разборчивость тактильной графики. Участники исследовали каждое изображение и проговаривали свои действия, а исследователь давал подсказки. Время исследования не ограничивалось, и исследователи не называли ожидаемую продолжительность работы с каждым изображением. Когда участник считал, что тщательно изучил изображение, исследователь задавал ему стандартизированную серию вопросов, различавшуюся для разных изображений. Отвечая, участники могли снова обращаться к изображению. После каждого ответа участник оценивал уверенность в нём по семибалльной шкале Лайкерта. Когда все вопросы по изображению были заданы и получены ответы, исследователь просил оценить читаемость и понятность изображения, а также уверенность участника (результаты см. на рисунке 14). Исследователь также спрашивал, насколько изображение помогало отвечать на вопросы и какие его свойства способствовали или мешали пониманию.

Вопросы на понимание для каждого изображения были составлены так, чтобы задействовать разные способы интерпретации тактильной графики: сравнение размеров областей, изучение пространственных отношений между ними, поиск конкретных подписей и определение областей по заданным критериям и подписям. Предварительные знания предметной области не требовались: на каждый вопрос можно было правильно ответить, пользуясь только сведениями с изображения. У каждого вопроса был один однозначно правильный ответ, что устраняло неопределённость при оценке понимания участников. Вопросы приведены в приложении A.3.

Участники дали устное информированное согласие на участие в исследовании. Каждый сеанс длился менее 90 минут; участникам платили 40 долларов в час и возмещали дополнительные транспортные расходы. Один исследователь проводил сеанс очно, а второй подключался через Zoom, записывал исследование и делал заметки. Оба прошли предварительную подготовку, чтобы методы исследования были доступны участникам [57]. Для всех участников применялись следующие меры адаптации. Исследователь, представлявший материалы, избегал визуальных местоимений и предлогов, например «вон там», словесно описывал направление, например «прямо перед вами», и проговаривал свои действия, например «я передаю вам тактильное изображение…». Автоматические субтитры помогали исследователю, делавшему заметки через Zoom. Эти методы одобрил институциональный этический комитет учреждения последнего автора.

Собранные данные включали видеозапись и расшифровку исследования. В Google Форме мы также фиксировали ответы участников на каждый вопрос и наблюдения за тем, как они исследовали изображения. После сеансов мы свели числовые ответы, например оценки уверенности и понятности, рассчитали сводную статистику для каждого показателя и построили гистограммы результатов. Кроме того, мы отобрали примечательные цитаты и сгруппировали их по отзывам о Брайле, использованных текстурах и общем опыте работы с каждым изображением; по ним оценивалось качество вышитой тактильной графики.

Участники

Шесть незрячих и слабовидящих участников с разным опытом работы с тактильной графикой приняли участие в 90-минутном пользовательском исследовании. Все они были совершеннолетними жителями США и умели читать Брайль. Участников набирали через публикации в интернет-сообществах. В материалах для набора было указано, что мы ищем «незрячих или слабовидящих людей с опытом чтения тактильной графики и Брайля». Владение Брайлем проверяли потому, что схемы были подписаны Брайлем, а не как косвенный показатель понимания тактильных схем. В таблице 3 приведены демографические сведения о каждом участнике и их самооценка опыта работы с Брайлем и тактильной графикой.

Участник A часто пользовался рельефно-печатной тактильной графикой в старшей школе, но в университете стал пользоваться ею реже, поскольку университет не предоставляет такие материалы вовремя. Из всех участников B имел наибольший опыт: он часто пользовался тактильной графикой в школе и университете, в том числе схемами разных физических и иных систем. Он обращается к тактильной графике каждую неделю, если не ежедневно. Участник C почти не пользовался тактильной графикой, кроме некоторых архитектурных чертежей и макетов веб-страниц. Участник D в основном сталкивался с художественными рисунками на футболках и некоторыми рельефно-печатными изображениями. Участник E рассказал, что «приехал из другой страны, где тактильная графика не так доступна», но «участвовал в разных исследованиях и в последние годы начал знакомиться с разными формами тактильной графики». Среди знакомых ему материалов были тренды, графики и темы социальных наук. Участница F пользовалась тактильной графикой в старшей школе для изучения разных математических понятий. По её словам, она взаимодействует с такой графикой «при любой возможности», например на выставке тактильного искусства.

Результаты

Участники понимали вышитую графику

Участники правильно ответили на 70 из 78 вопросов (89,74%). На рисунке 14 показаны их оценки понятности изображений, полезности изображений при ответах и уверенности в ответах. Оценки уверенности были довольно разбросаны; это может отражать различия в сложности изображений.

Простота повышает читаемость

Судя по отзывам участников, по возможности лучше использовать меньше текстур и оставлять больше пустого пространства, если область необязательно заполнять; это согласуется с существующими рекомендациями [59]. Например, о вышитом плане помещения участник A сказал: «у каждой области свои ощущения, но, думаю, было бы полезно оставить только линии границ вместо одновременного использования границ и заполненных областей». В то же время некоторые участники отмечали, что разнообразие текстур, различающих области вышитой графики, помогает исследовать изображение без постоянного обращения к подписям Брайля. Оно также позволяет кодировать дополнительную информацию, например плотность. Участник C сказал: «текстуры разных элементов здесь различаются, и это помогает…». Хотя результаты показывают, что при исследовании изображений участники в большинстве случаев правильно сопоставляли текстуры, они порой отмечали неуверенность в различиях, особенно на достаточно сложных изображениях, требующих легенды. По словам участника B, «текстуры не очень отчётливо различаются — они разные, но нужно немного времени, чтобы настроиться».

Брайль было трудно, но возможно читать

Поскольку фактура вышитого Брайля отличается от стандартного Брайля на рельефно-печатной тактильной графике, а точки расположены дальше друг от друга, чем в традиционном Брайле, все участники испытывали некоторые трудности при чтении. Вышитый нитями Брайль был гораздо мягче традиционного, выдавленного на бумаге. Например, участница F сказала: «этот [вышитый] Брайль очень трудно читать, потому что точки крупные и далеко разнесены». Участники сообщили, что из-за этих небольших различий в интервалах чтение идёт медленнее, чем у традиционного Брайля. Однако по ходу исследования все, кроме участника D, чувствовали себя увереннее и читали Брайль быстрее. Участник D сказал: «я не могу точно сказать, что здесь написано, но, вероятно, смог бы догадаться, если бы знал названия». Участник A отметил: «…мне было трудно сопоставлять ключи на вышитом [изображении], но, если потренироваться, думаю, находить их станет легче», а также: «теперь я привык ощущать Брайль на этом изображении… теперь начинаю к нему привыкать». Участник C сказал: «качество Брайля хорошее, но мне нужно больше практики». Практика может помочь, однако в будущем, возможно, удастся повысить и саму разборчивость.

В целом, несмотря на некоторые ограничения вышитой тактильной графики, участники проявляли интерес и говорили, что этот подход потенциально способен конкурировать с рельефно-печатной графикой на бумаге. Помимо того что вышитая графика показалась им менее «однообразной», чем обычные подходы, например рельефная печать, участники отмечали, что тактильная глубина и разнообразие дают больше возможностей творчески представлять элементы тактильного изображения. Участник B предположил, что вышитая графика может быть особенно полезна для сложных схем, где рельефная печать становится запутанной: «Во многих случаях нужна более сложная схема, и тиснение уже не справляется с ней наилучшим образом… на самом деле её можно упростить, используя вышитые текстуры». О вышитой тактильной карте он сказал: «пересекающиеся дороги, тропы и тому подобное… можно очень ясно показать такой [вышитой] схемой, просто упростив все эти пересекающиеся линии и прочее». Другой участник счёл, что вышитая графика перспективна в машиностроении, естественных науках и геологии, поскольку «у вас больше возможностей играть с разными текстурами, чтобы обозначать разные части» (участник E). Участница F полагала, что вышивка лучше подходит для творческой или художественной среды: «если у чего-то есть своего рода художественное ощущение, вышивка лучше».

Итоги результатов

Оценка показала, что для шести участников нашего исследования вышитая тактильная графика из разных предметных областей — карты и научные схемы — была понятной и разборчивой. Участники также назвали важные для разборчивости проектные соображения, в частности простоту и достаточные интервалы. Существенно, что они объяснили, как некоторые выявленные нами свойства текстур, например плотность, могут кодировать информацию. Участники проявили интерес к потенциалу вышитой тактильной графики и отметили её выразительность и широкий набор текстур по сравнению с существующими методами, например рельефной печатью.

Обсуждение

Наше исследование вышитой тактильной графики выявило ряд проектных соображений, позволяющих создавать разборчивые изображения, богатые деталями. Эти соображения основаны на выводах из ручных экспериментов с вышивкой как средством тактильной графики, классификации текстур, сквозного процесса создания разных тактильных изображений и оценки с участниками.

Текстурное богатство вышивки следует измерять и определять, а не принимать на веру

Ручное исследование тактильных книг показало, что визуально разные текстуры сами по себе недостаточно хорошо передают насыщенную деталями визуальную информацию (раздел 3). Это подтвердил категориальный анализ доступных вышивальных текстур: он выявил более эффективные способы измерения различий между текстурами, чем их внешний вид. Оценка с участниками подчеркнула значимость некоторых из этих свойств, например пустого пространства и плотности, для передачи информации и улучшения понимания. Наша работа предлагает структурированный подход к измерению и назначению текстур по перцептивным характеристикам, таким как плотность, высота и направленность. Существующие инструменты проектирования должны показывать эти свойства наряду с визуальными характеристиками строчки, чтобы лучше передавать тактильную выразительность разных видов строчки.

Общая композиция вышивки столь же важна, как детали

При ручном исследовании научных схем мы обнаружили, что целостные свойства, например материал схемы, влияют на разборчивость не меньше, чем строчка (раздел 3.2). Понятие общей разборчивости мы подробнее рассмотрели при разработке автоматизированного инструмента назначения текстур: важны и различия между локальными соседними текстурами, и общее текстурное разнообразие. Это подтвердилось при оценке: участники отрицательно отзывались о влиянии слишком большого числа сходных текстур на понимание схемы в целом. Дизайнерам следует рассматривать текстурные детали не только на уровне отдельных элементов, но и в контексте полного изображения, включая другие представленные элементы и даже материал, на котором оно изготовлено.

Вышитая тактильная графика должна стремиться быть увлекательной, а не только разборчивой

Участники оценки рассказывали, что вышитые тактильные схемы менее однообразны и дают больше возможностей для творчества, чем альтернативы, например рельефно-печатная графика. Из-за фактологического характера испытательных материалов — карт и научных схем — наши оценки были сосредоточены на понятности и разборчивости, однако вышивку уже применяют для физического представления личных данных [91]. Как отметил один из участников, она может быть полезна в творческой и художественной среде. В тех форматах, где особенно важны эмоциональный тон и детали сцены, например в тактильных книгах, текстура способна выразительно передавать нюансы. Если мы научимся лучше понимать и назначать текстуры исходя из предполагаемого смысла, а не только различимости, вышивка может стать перспективным средством создания тактильной графики, которая не просто информативна, но и глубоко выразительна.

Заключение и дальнейшая работа

Мы показали примеры использования вышивки для создания тактильной графики, выявили важные соображения по проектированию разборчивых и богатых тактильными ощущениями изображений и представили процесс создания тактильной графики на машинной вышивке. Мы оценили результаты в двух разных предметных областях; работавшие с ними участники правильно и уверенно ответили на большинство вопросов. На основании отзывов мы полагаем, что вышитая тактильная графика потенциально способна представлять более сложные изображения, чем рельефно-печатная: разные типы строчек дают, вероятно, более широкий набор текстур.

Сравнение вышивки с традиционными методами

В дальнейшей работе следует сравнить вышитую тактильную графику с традиционными методами, чтобы оценить различия в разборчивости. Долговечность вышитых изображений и их общая понятность убедительно обосновывают применение в некоторых обстоятельствах, однако сравнительное исследование помогло бы оценить и задокументировать компромиссы. Исходя из предварительного исследования, мы ожидаем, что в ряде сценариев вышивка окажется предпочтительным средством, например в более художественных контекстах, но это требуется дополнительно проверить для разных предметных областей и типов графики.

Исследование разборчивости Брайля

Создать пригодный для вышивания Брайль, который был бы разборчив и понятен всем, оказалось трудно. Мы обнаружили, что на разборчивость влияют такие факторы, как фактура и интервалы. В дальнейшем интервалы в Брайле можно ещё уменьшить с помощью собственного кода генерации траекторий строчки, чтобы повысить читаемость. Наши настройки определялись ограничениями использованной машины, но на других машинах либо при изменении порядка вышивания точек или траекторий строчки, возможно, удастся сократить расстояния между точками и ячейками.

Повышение доступности и сокращение ручных этапов

В описанном в статье процессе SVG-файл тактильного изображения создают вручную; после работы алгоритма оптимизации файл строчек также собирают вручную. Чтобы упростить создание вышитой тактильной графики и сделать процесс доступнее широкой публике, желательно автоматизировать создание SVG-файла по изображению и формирование файла строчек по текстурам, возвращённым алгоритмом оптимизации.

Кроме того, некоторые использованные инструменты и интерфейсы, например экран вышивальной машины, недоступны незрячим и слабовидящим людям. Это ограничивает возможность мастеров с инвалидностью самостоятельно создавать вышитую тактильную графику. В дальнейшей работе следует изучить, как сделать весь процесс её проектирования доступным широкому кругу пользователей.

Расширение пользовательского контроля

Хотя все вышитые тактильные изображения были читаемы и участники правильно ответили на большинство вопросов, результаты пользовательского исследования указывают на изменения, способные ещё повысить читаемость. Подход к оптимизации можно дополнить пользовательскими предпочтениями, например разрешить указывать, следует ли заполнять области. В целевую функцию можно также включить член, минимизирующий общее число текстур либо максимизирующий площадь незакрытого пространства, когда текстура и граница передают избыточные сведения. Это помогло бы учесть пожелание участников использовать меньше текстур ради ясности.

Исследование новых областей применения

Наконец, теперь, когда мы показали, что вышитую тактильную графику возможно изготовить и она разборчива, в дальнейшей работе следует изучить её особую ценность в ситуациях, где другая тактильная графика недостаточно прочна или доступна. Например, интересным следующим шагом было бы воссоздать с помощью автоматизированного инструмента выбора текстур визуально сложную детскую книгу из смешанных материалов, которую мы исследовали в разделе 3, а затем испытать её в реальных условиях. Долговечность вышитой графики и широкий набор тактильных ощущений от вышитых текстур делают её перспективной альтернативой традиционной тактильной графике.

Дополнительные материалы

Видеопрезентация

Понятия CCS

Человеко-ориентированные вычисления → Доступность.

Благодарности

Мы благодарим Венкатеша Потлури за участие в пилотном исследовании и ценные отзывы на протяжении проекта. Мы также благодарим анонимных участников пользовательских исследований за их время и обратную связь. Благодарим Кевина Арне из Global Innovations Exchange за возможность пользоваться вышивальной машиной в их мастерской. Кроме того, благодарим Мелани Уинстон, делавшую заметки в некоторых поздних пользовательских исследованиях. Проект поддержали Center for Research and Education on Accessible Technology and Experiences (CREATE), совместные гранты NSF IIS-2327137 и 2327136, а также дополнительный грант 2428359.

Анкеты пользовательского исследования

Демографическая анкета

В начале исследования каждому участнику задавали следующие вопросы:

Какой опыт работы с тактильной графикой у вас был раньше?

Какими видами тактильной графики вы пользовались?

Есть ли конкретная среда или предметная область, в которой у вас больше опыта работы с тактильной графикой?

Как часто вы пользуетесь тактильной графикой?

Какие свойства вы считаете признаками качественной тактильной графики?

По шкале от 1 до 5, где 1 — очень мало, а 5 — очень много, как бы вы оценили свой опыт чтения тактильной графики?

По шкале от 1 до 5, где 1 — очень мало, а 5 — очень много, как бы вы оценили свой опыт чтения Брайля?

Подсказки для исследования графики с рассуждением вслух

Когда участники исследовали каждое тактильное изображение, им задавали следующие направляющие вопросы:

Что вы замечаете в изображении, ощупывая его?

Что вы ощущаете?

Вопросы на понимание тактильной графики

См. таблицу 4.

Вопросы для оценки тактильной графики

После завершения работы с каждым тактильным изображением задавали следующие вопросы:

По шкале от 1 до 7, где 1 — совсем не уверен, а 7 — полностью уверен, насколько вы уверены в своём ответе? Этот вопрос задавали после каждого вопроса на понимание.

Что в этом изображении, если вообще что-либо, показалось вам полезным?

Что в этом изображении, если вообще что-либо, сбивало вас с толку?

По шкале от 1 до 7, где 1 — совсем не помогло, а 7 — очень помогло, насколько изображение помогало вам отвечать на вопросы?

По шкале от 1 до 7, где 1 — совсем непонятное, а 7 — очень понятное, насколько понятным было изображение?

Итоговые вопросы после исследования

После завершения работы со всеми тактильными изображениями задавали следующие вопросы для рефлексии:

Что вы думаете о подписях Брайля в обоих типах тактильной графики?

Какие свойства тактильной графики для вас важнее всего? Насколько разные подходы соответствовали этим приоритетам?

Что вы думаете о текстурах, использованных в этих изображениях?

Что вам понравилось или не понравилось в вышитой тактильной графике, если такое было?

Есть ли у вас другие общие комментарии, впечатления или отзывы, которыми вы хотели бы поделиться?

Фотографии каждого тактильного изображения

См. рисунок 16.

Использованные стандарты тактильной графики

При создании каждого из приведённых выше изображений учитывались действующие рекомендации по тактильной графике, подготовленные Braille Authority of North America [59]. В частности, на изображении Луны поперечные сечения передавали глубину в двух измерениях (рекомендация 2.11); линии, ведущие к описаниям на плане помещения, были спроектированы по стандартам для выносных линий и стрелок (рекомендация 3.4); а для пояснения смысла применялись отдельно напечатанные легенды, когда само изображение было слишком большим для выносных линий, как в случае инфузории-туфельки и карты кампуса (рекомендации 5.7 и 5.8).

Веса, использованные при оптимизации

Следующие веса для семи целевых функций были определены эмпирически и использованы при оптимизации:

Разнообразие категорий: 7,0

Контраст соседних элементов — среднее: 11,0

Контраст соседних элементов — минимум: 1,0

Общий контраст — сумма: 11,0

Общий контраст — минимум: 5,0

Общая гладкость: 3,0

Общая шероховатость: 1,0

Сноски

В работе мы используем систему Unified English Braille, уровень 1.

Сведения об авторах

Маргарет Эллен Сихорн, Мичиганский университет, Анн-Арбор, Мичиган, США.

Кларис Уинстон, Вашингтонский университет, Сиэтл, Вашингтон, США.

Бо Лю, Корнеллский университет, Нью-Йорк, Нью-Йорк, США.

Джин С.-Х. Ким, Стэнфордский университет, Стэнфорд, Калифорния, США.

Эмили Уайт, Вашингтонский университет, Сиэтл, Вашингтон, США.

Нупур Горкар, Вашингтонский университет, Сиэтл, Вашингтон, США.

Кейт С. Глазко, Вашингтонский университет, Сиэтл, Вашингтон, США.

Аашака Десаи, Школа компьютерных наук и инженерии Пола Дж. Аллена, Вашингтонский университет, Сиэтл, Вашингтон, США.

Джерри Цао, Школа компьютерных наук и инженерии Пола Дж. Аллена, Вашингтонский университет, Сиэтл, Вашингтон, США.

Меган Хофманн, Колледж компьютерных наук Хури, Северо-Восточный университет, Бостон, Массачусетс, США.

Дженнифер Манкофф, Школа компьютерных наук и инженерии Аллена, Вашингтонский университет, Сиэтл, Вашингтон, США.

Литература

Связанные данные

Дополнительные материалы

Видеопрезентация