혹시 들어서 옮기다가 내려놓을 때 쾅쾅 하는 거 아닐까요

네 그렇습니다. 그런데 언어 교정과 포매팅은 애초 llm이 굉장히 잘 해주던 분야라서 사람의 프로포절이 그로인해 대단히 불리해지거나 하지는 않았을 것 같다는 추측이 드네용

해당 논문은 여기 다행히 오픈액세스임 www.nature.com/articles/s41...

Larger and more instructable language models become less reliable - Nature

Scaling up and shaping up large language models increased their tendency to provide sensible yet incorrect answers at difficulty levels humans cannot supervise, highlighting the need for a fundam...

어스름별 님이 포스트하신 네이처 글을 봤는데, 궁금해서 원 논문도 찾아봄. arxiv.org/abs/2409.04109 자세히는 안봤지만 첨부한 그림을 보면 어쨌든 최소 인간만큼은 할 수 있다는 결론 아닐까. 앞으로는 기초연구 과제도 AI가 먼저 흥미로운 과제들을 제시하고 연구자들이 그걸 수주하는 형식이 될 가능성도 있으려나;;;

그죠 만약 리뷰어들이 ai의 프로포절인지 집어낼 수 있었다면 분명 언급이 있었을텐데 사실상 구분이 어려운 수준이 아닐까 싶었네요

Llm의 파라미터를 늘리면 성능이 좋아지긴 하는데 모르는 질문에 안다고 대답하는 비중이 늘어서 오류 비중이 늘어난다는 Bigger AI chatbots more inclined to spew nonsense — and people don't always realize www.nature.com/articles/d41...

Bigger AI chatbots more inclined to spew nonsense — and people don't always realize

Artificial-intelligence models are improving overall but are more likely to answer every question, leading to wrong answers.

"the AI’s suggestions scored slightly lower on feasibility." 링크하신 글에 언급되어 있기는 합니다.

앗… 앞문단에 있었군요… 대충 읽는걸 딱 들켜버렸네요 ㅋㅋㅋㅋㅋㅋ

독창성(originality), 흥미도(excitement), 실현가능성(feasibility)을 평가했는데 실현가능성에 대한 언급은 없는게 좀 의문이네. 독창성과 흥미도는 실현가능성과 서로 반비례할 가능성이 높을 것 같은데. Llm이 입벌구라 아무말이나 하는거면 어떡함

사람과 ai(llm)에게 리서치 프로포절을 쓰게 함. 그 다음 프로포절을 ai(llm)에게 시켜서 똑같은 문체/포맷으로 에디팅함. 각 프로포절을 인간 연구자에게 평가 요청(블라인드로). Ai가 평균적으로 조금 더 독창적이고 흥미로운 아이디어를 냄.