Что такое семантическая сегментация? Объяснение технологии камеры смартфона

Qualcomm недавно анонсировала свою новейшую флагманскую платформу для смартфонов — Snapdragon 8 Gen 2.

Одним из самых больших обновлений стал новый Cognitive ISP, интеллектуальный процессор обработки изображений, обеспечивающий разрешение до 200 мегапикселей. изображения, более интеллектуальное распознавание лиц с помощью камеры Always-Sensing и все преимущества семантической обработки данных в реальном времени. сегментация.

Но что такое семантическая сегментация и какое значение она имеет для камеры вашего телефона?

Что такое семантическая сегментация?

Семантическая сегментация — это технология обработки изображений, которая позволяет камере распознавать отдельные аспекты кадра, такие как лица, волосы, одежда, фон и многое другое. Затем эти аспекты можно оптимизировать отдельно, то есть камера будет изменять цвет, тон, резкость и количество шума в изображении в каждом конкретном случае.

Подумайте о семантической сегментации, как о слоях Photoshop в камере вашего телефона, позволяющих настраивать различные части изображения по отдельности, а не камере, редактирующей изображение в целом.

Семантическая сегментация в реальном времени — это именно то, на что это похоже — то же самое, что и выше, но все происходит во время использования камеры, а не после того, как вы сделали снимок или закончили запись видео.

Есть много случаев, когда семантическая сегментация в реальном времени может улучшить вашу мобильную фотографию.

Эту технологию можно использовать для сглаживания кожи, удаления бликов от очков, придания резкости волосам и меху, придания большего эффекта. синего цвета неба и улучшения читаемости текста на экранах и в книгах, и это лишь некоторые из реальных возможностей. использует.

Вы можете увидеть семантическую сегментацию в действии на видео выше.

Насколько это точно?

В этом году у нас была возможность протестировать семантическую сегментацию в реальном времени на саммите Qualcomm Snapdragon на Гавайях. и обнаружил, что он неплохо справляется с отделением кожи от волос, одежды и фона позади нас, но это было не так. идеальный.

В демо-версии камера была настроена на то, чтобы все, что она считала темно-зеленым, дало нам представление о том, насколько это точно.

Семантическая сегментация

Камера хорошо подсветила всю кожу на изображении, за исключением небольшого участка, выглядывающего из-за очков. Однако он сильно боролся с элементами одинакового цвета, ошибочно выделив бежевое платье. и оранжевый iPhone в качестве кожи, потому что их оттенки слишком близко соответствовали лицу и рукам на изображении.

В другой демонстрации мы протестировали функцию сглаживания кожи и обнаружили, что она работает очень тонко и естественно, что приводит к чему-то немного странному. более убедительно, чем некоторые из наиболее усердных эффектов сглаживания, которые можно найти в TikTok, Instagram и некоторых OEM-камерах Android. программное обеспечение.

В конечном счете, каждый OEM-производитель должен настраивать функции, предоставляемые Cognitive ISP, так, как ему нравится, рассказал нам на конференции вице-президент по управлению продуктами для камер Джадд Хип. Summit, а это означает, что нам нужно дождаться прибытия первой партии из 8 телефонов Gen 2, чтобы увидеть, как семантическая сегментация в реальном времени улучшит изображения с реальными. использовать.

Вы могли бы…

Snapdragon 8 Gen 2 против Apple A16 Bionic: как они сравниваются?

Snapdragon 8 Gen 2 против Apple A16 Bionic: как они сравниваются?

Ханна Дэвис8 месяцев назад
Что такое Snapdragon 8 Gen 2? Все о новой мобильной платформе

Что такое Snapdragon 8 Gen 2? Все о новой мобильной платформе

Ханна Дэвис8 месяцев назад
Snapdragon 8 Gen 2 против Snapdragon 8 Gen 1: что нового?

Snapdragon 8 Gen 2 против Snapdragon 8 Gen 1: что нового?

Ханна Дэвис8 месяцев назад

Зачем доверять нашей журналистике?

Основанное в 2003 году издание Trusted Reviews существует для того, чтобы давать нашим читателям подробные, объективные и независимые советы о том, что покупать.

Сегодня у нас есть миллионы пользователей в месяц со всего мира, и мы оцениваем более 1000 продуктов в год.