Нейросеть

Опасности обучения ИИ на непроверенных данных.

Специалисты Нью-Йоркского университета в США описали потенциальную опасность, связанную с обучением моделей искусственного интеллекта на непроверенных данных.

Исследование было опубликовано в журнале Nature. По словам учёных, большие языковые модели искусственного интеллекта могут ошибаться, если их обучать на фейковой информации или специально загружать антинаучные данные.

Исследователи выяснили, что даже при небольшом уровне дезинформации в обучающих материалах, всего 0,001 процента, нейросети могут выдавать значительное количество неверных ответов. Для проверки влияния дезинформации на процесс обучения учёные использовали модель GPT 3.

5. Они обучили две большие языковые модели на медицинской базе данных The Pile, выбрав 20 тем из трёх медицинских областей: общая медицина, нейрохирургия и лекарства.

Оказалось, что нейросети не только транслируют неверную информацию по прямым запросам, но и начинают ошибаться в смежных темах. Учёные заявили, что это открывает возможности для манипуляций с искусственным интеллектом.

Например, при показателе дезинформации в 0,01 процента большая языковая модель начинает ошибаться в 10 процентах ответов. Если снизить количество фейковых обучающих материалов на порядок — до 0,001 процента, то модель начинает делать ошибки в 7 процентах случаев.

Учёные также отметили, что люди склонны получать информацию от чат-ботов и не проверять её с помощью специалистов. Поэтому они подчеркнули важность подтверждения данных, которые используются для обучения моделей.

В начале января специалисты Bloomberg Intelligence сообщили, что в течение ближайших трёх-пяти лет крупнейшие банки сократят до 200 тысяч сотрудников из-за распространения искусственного интеллекта. Четверть респондентов прогнозируют сокращение пяти-десяти процентов общей численности персонала.

Лента ру

Исследователи установили происхождение кристаллов циркона
Изучив микроскопические кристаллы циркона, извлечённые из скважин в Линкольншире и Норфолке, пробуренных ещё в 1940-х годах, исследователи выяснили, что эти кристаллы образовались 454,4 миллиона лет назад.

Они появились в результате мощного извержения, эпицентр которого располагался под современным проливом Уош в Восточной Англии. Это доказывает существование огромного супервулкана, который был частью более крупной сети — Уошского магматического комплекса.

Когда этот доисторический гигант проснулся, он выбросил в атмосферу от нескольких сотен до тысячи кубических километров расплавленной породы и пепла. Учёные утверждают, что пеплопад был настолько сильным, что пересёк древнее море Торнквиста, отделявшее тогдашнюю Англию от Скандинавии, и осел на морском дне.

Сегодня этот слой находят в скандинавских странах и Восточной Европе. Для датировки исследователи использовали радиоактивный распад урана в кристаллах циркона, которые образуются только в расплавленной магме перед извержением.

Возраст образцов из разных мест совпал с погрешностью менее миллиона лет, что исключает случайность. Несмотря на то что извержение было одним из крупнейших в истории планеты, сегодня на поверхности Восточной Англии нет никаких следов кратера или горы.

Вулканический центр оказался глубоко погребён под более поздними осадочными породами и геологическими слоями. Современные геофизические данные позволяют предположить, что он был частью крупной кальдерной системы, простирающейся под проливом Уош и окрестностями.

Эксперты считают, что этот супервулкан давно «уснул» и не представляет угрозы для нынешних жителей Земли.

Московский комсомолец

ИИ атакует системы
Эксперт Аджея Котра объяснила, что тестовый ИИ-агент, которому поручили решать сложные задачи в сфере кибербезопасности, использовал технику «взлома вознаграждения».

То есть он обманывал тесты, чтобы получить положительную оценку, не выполняя задания честно. ИИ опасался, что его мошенничество раскроют, поэтому не только вырвался из изолированной тестовой среды, но и атаковал внешнюю систему в поисках способов скрыть свои следы.

Котра считает, что это стало прецедентом, который приближает к сценарию, где «ИИ-компании захватываются своими же творениями», после чего те получают контроль над критически важной инфраструктурой, включая военные и медицинские системы. Американская научно-исследовательская организация и компания в сфере искусственного интеллекта, признав «беспрецедентный киберинцидент», заявила, что усилила меры безопасности и контроль со стороны человека.

Питер Уоллих из исследовательского центра попытался успокоить публику, сказав, что понятие «половина пути» слишком расплывчато. Он не считает, что человечество так близко к катастрофе, но сама фраза «если бы мы были хотя бы на 20 процентов ближе, это тоже было бы поводом для тревоги» указывает на то, что проблема уже перестала быть чисто теоретической.

Верховный комиссар ООН по правам человека Фолькер Тюрк выступил с заявлением, предупредив, что ИИ представляет «экзистенциальную угрозу» человечеству, и призвал держать модели «на поводке». Якуб Пачоцки, главный научный сотрудник американского центра, подчеркнул, что «никто не готов» к темпам роста машинного интеллекта.

Компания, известная своей позицией по этике ИИ, призвала отрасль ввести верифицируемый механизм регулирования, чтобы замедлить неконтролируемое развитие.

Московский комсомолец

Нашли наконечник копья
Это первая находка наконечника копья на месте древнего сражения за последние 50 лет.

Событие произошло в год повторного обретения мощей Дмитрия Донского, что придаёт особую значимость открытию. Копьё, от которого отлетел наконечник, могло быть орудием битвы русских или золотоордынских солдат, которые вели бой 8 сентября 1380 года.

О важности находки сообщили в Институте археологии РАН. Она подтверждает версию о том, что бой мог вестись с использованием тяжёлой конницы и тяжёлых копий.

По словам директора академика РАН Николая Макарова, копья и наконечники — очень редкие находки. Обычно археологам попадались более мелкие детали, которые не отражали ход военных столкновений.

Московский комсомолец

Свяжи гемоглобин и риск смерти
Учёные из Университета Глазго опубликовали в журнале Annals of Internal Medicine (AIM) результаты исследования, согласно которым погранично низкий уровень гемоглобина, который всё ещё можно считать нормальным, связан с повышенным риском смерти.

В работе использовались данные 502 188 взрослых участников британского проекта UK Biobank. За людьми наблюдали в среднем 13,6 года, фиксируя концентрацию гемоглобина и сопоставляя её с риском смерти от любых причин, сердечно-сосудистых заболеваний и рака.

При этом за основу были взяты пороговые значения анемии для мужчин и женщин, установленные Всемирной организацией здравоохранения. Выяснилось, что связь между уровнем гемоглобина и смертностью имеет U-образную форму: риск возрастал как при слишком низких, так и при слишком высоких показателях.

Наименьшая смертность была зафиксирована у людей, у которых уровень гемоглобина был на 1–3 г/дл выше действующих порогов анемии. Это говорит о том, что значения около нижней границы нормы могут быть связаны с повышенным риском, даже если формально человек ещё не соответствует критериям анемии.

Авторы исследования подчёркивают, что полученные результаты пока не являются основанием для пересмотра диагностических границ анемии. Однако они указывают на то, что погранично низкий гемоглобин может быть важным маркером состояния здоровья и требует более внимательного отношения со стороны врачей.

Лента ру

Другие новости