00:28各位现场的来的宾以及线上将近一千多人的朋友大家早安,我们今天非常荣幸请到中研院的分子生物研究所孙颖翰教授来为我们讲这一场运用生成式AI协助撰写研究计划及论文的讲座,当然它的副标题后面还有心态、学伦理
00:57 首先介绍一下我自己,我是阳明交通大学的副校长,也是教育研究所的教授,然后我在这一路上从事学术伦理的研究及教育已经很久了,那其实孙老师是我的mentor,然后他一直一路指导我,看着我长大这样,然后孙老师其实在这个领域耕耘了非常的久,培养了非常多的人,我也也是其中之一
01:25 那孙老师的简历如果把它念完的话,我们就下课了,所以我们很简单的讲一下,是中研院特聘研究员
01:54 經過退休了,那在退休之前,是現在還是分子與基因醫學研究所的兼任研究員
02:27然后,更重要的是,中研院已經設立了一個叫做職場友善辦公室,然後他是首位的協調人,也就是說,任何你覺得在制度上或者個人上有些困難或者疑慮的,都可以去找這一位協調人來晤談,然后也許會協調人,我想是告訴你怎麼做,或者說你可以有些什麼樣制度上的建言
03:01我覺得這件事情真的非常好,那這個台灣的學術機構或者學研機構,我想還沒有這個例子,它叫Ombudsman,其實很多很多的國家或者很多院校機構,其實是有這樣子的,所以它是最適合的人選
03:34直接不多說,我們就非常的歡迎這個孫以瀚教授這樣
04:08謝謝周老師的介紹,今天要跟大家來講這個生成式AI,那知道我的人就覺得—— 很奇怪,因為我的專長是分子生物育出生物學,那我用果蠅做研究,怎麼會跟生成式AI有關?剛才周老師講說這個淵源,最早是因為我跟學倫開始有一些關係,那在國科會服務的時候,跟周老師同事,我們就寫了當時的學術倫理的規範,然後後來一直參與很多的案例審查和演講,所以就是學術倫理
04:49然後後來,AI出現了
05:31有朋友就找我來講AI應用,上面的一些學術倫理,然後後來有一次,有人就找我來教怎麼用AI來寫計畫,所以我今天要跟大家談的是,用生成式AI來輔助,我特別強調這個輔助,我一直要不停地強調,就是人才是主導,這個是工具,它來幫我們,然後我們今天也只講撰寫,在學術研究上面,當然,AI可以幫你
06:12 做很多很多的事情,那個Data的分析啊,很多這種,但我們今天只講寫作這部分
06:36說實在的,寫作在AI的應用上面,我覺得是一個很低階的應用,但對我們來說,是第一步會接觸到的,而且大家對AI的concern憂慮,其實都目前都集中在這個寫作這部分
06:59所以我們主要談這個,包括計畫論文、各種各樣的學術上的寫作
07:22那我最主要要講的是心態,我們怎麼看這件事情
07:46那技巧呢,稍微會講到一些
08:09真正大家要對技巧有任何問題,就直接問AI,它什麼都會教你
08:33然後最後再講到跟這個有關的學術倫理的問題,特別強調幾點
08:56第一個,就是今天要講的是我個人的意見,那我的很多意見跟現在的主流意見不完全一樣,我比較... 大致比較開放,所以大家如果要投稿、投稿計畫的時候,還是要去看期刊或是國科會他們當下的規範,要遵守那個規定
09:29那我也要揭露,在這個準備這個演講的過程當中,我用了好幾個AI來幫忙,那我想用這個演講當作一個範例,就是我們怎麼樣子用AI幫忙,但維持人還是主導
10:01再來一個就是我們常常面對一些新東西,我們不知道要怎麼去用,要用什麼態度,那我的一個策略呢,就是去找類比(analogy),有沒有什麼過去類似的事情,我們是怎麼看待,所以今天就可以沿用同樣的態度,這樣就比較容易
10:34然後今天也主要是針對研究人員,就是老師、研究生,大家都已經具備研究上面所需要的基本核心能力,所以我們不談小學生、中學生的教育問題,那我發現要講的內容
11:06 其实最主要是针对实验科学,就是我们除了文字的写作以外,我们还有一部分实验,还有数据结果
11:28那我想到我讲的这些对于人文创作或者艺术创作很可能不适用,因为它们就完全都是文字,所以这个有一些考虑就不同
11:49另一方面,就是今天的这个PowerPoint提供给大家,那有一些细节大家可以慢慢看,也欢迎分享出去
12:10我希望我的观点能够让更多人知道,更好
12:31这是我的outline
12:53第一步是我们怎么看待AI,这个是一般,然后我们怎么使用AI,这个也是一般
13:14再来就是,特别是我们怎么用AI来辅助写计划、写论文,然后再使用AI辅助写作,上面的学术伦理,所以前两个比较
13:35 一般后面两个是针对学术性的用,那其实今天要讲的take home message非常的简单,第一个要用、要努力的用,我觉得这个是the single most important的research tool
14:09那第二个呢,很多老师担心学生用,而不用怕,要鼓励学生,甚至要要求学生用,带着学生一起来用,然后充分发挥AI的功能,不要只用AI来帮你改作文,那个真正是大材小用,所以我觉得研究的每一步AI都可以帮得上忙
14:42然后再来就是所有AI生成的内容,你一定要验证,因为错误很多
15:16最后两点呢,我觉得我的想法跟很多人不太一样,就是很多人去care说这篇论文是不是AI写的,我
15:50 覺得這個根本不用去care,不用去管,我們應該在意的是內容是否可靠,那內容是否有價值
16:08當然,現在有很多的規範我們要遵守,那些規範我待會會講,我也覺得不合理,未來會改
16:27但是在改之前,大家還是要遵守這樣的規範,所以先講這個基本的面向
16:45AI,我相信大家都已經很清楚,但我再講幾個主要的point
17:04第一個,它是大數據資料庫,透過大型語言模型(Large Language Model, LLM)訓練而成,它是預測要給你的句子,基於統計的規律,所以它是一個再創造,但也基於統計規律
17:23也就是說,它會給你的,是最常、最容易出現的東西,那也就是主流
17:41它給你的東西呢,會比較比較medioré,比較平均,那創新就不太會有
18:00再來一點
18:19 是,它会产生幻觉,Hallucination
18:37它给你的内容可能看起来很像真的,但实际上是错误的
18:56我当初问他,说孙以瀚是个什么样的人,他就说孙以瀚是有名的演员、歌手,还列出我参加过的电影
19:15再来一个,就是我们一开始是ChatGPT,但是现在已经有很多类似的AI
19:34每一个类似的AI,它们的训练数据库不一样,因为每家公司掌握的资讯不一样,然后它们设定的算法也不一样,所以它们的性能就各有千秋
19:53现在很难说哪个一定比较好
20:12它们的风格是不一样的
20:31再来一个大家都担心的,是你跟它谈话,你给它的这些资讯,有可能会进入它的学习资料库
20:50 資料庫所以會造成資訊的外洩,那這是很多人擔心的事情,這個我們等一下也會再講到
21:08那我底下這樣註明的就是表示這一段的內容,大部分是ChatGPT和Gemini提供的,然後我有稍微整理過,就是不是完全用那
21:43舉個例子給大家看,這個hallucination這次我請AI提供一些參考,它就列了這些論文,那所有的紅字註解的地方都是假的,所以你可以看到這一篇論文前面完全正確,後面是錯誤的,那最底下這一篇呢,從頭到尾都是假的,可是看起來非常的像
22:17那我覺得一個很重要的點就是,AI是一個破壞性的創新,那我這邊舉一些例子,過去歷史上的破壞性創新,每一個新的人
22:51 科技出來,過去的科技就已經沒用了,就完全被淘汰了
23:26那我特別標出來三個是紅字:Google Search、Google Map、ChatGPT
23:48我覺得這三個破壞性創新呢,跟過去的性質都不一樣
24:10過去的這些新科技出來,一定都非常昂貴,只有極少數的人才能用得到,然後慢慢慢慢這個價格降低,使用比較普及
24:32但是這三個紅的,一開始就是在網路上,然後是免費,然後是所有人都可以用,所以這個造成一個非常重要的事情,就是所有人在瞬間你的能力就提升了,所以它是 free and open for all,就提高所有人的基線
24:55然後它的這個使用門檻也很低,你跟它隨便講話、隨便寫,它都聽得懂,造成的結果就是所有人都可以受惠
25:17 人都變得很厲害
25:39假如今天在座還有任何人還沒有開始用,那你真的就會被淘汰,你會被所有人淘汰
26:01過去我們永遠有一個 distribution curve,你會被少數人超過,今天你會被所有人超越,所以你一定要用
26:21 那再來,它有付費版本,剛才說的是免費,但有付費版本,付費版本它的功能就比較好一點
26:40那即使付費呢,我覺得也還是 affordable,一個AI大概付費個人用就是每個月20美元,600多塊錢
27:00 那我目前用三個,每個月2000塊左右,我覺得這絕對值得
27:19因為我有三個助理,24小時從不抱怨、沒有情緒問題,而且非常能幹
27:39我想比所有老師的學生助理都還要好,這個錢花得絕對值得
27:58 再來就是破壞
28:18 所有的阻擋和限制都沒有效用,它就會發生,所以會使用新工具的人就佔優勢,那不只是要用,還要用得好,所以我們談的是人跟人的競爭,而不是人跟AI的競爭,是人加上AI,就會大於人
28:50那你會被取代,是因為你會被會用AI的人取代,所以Gemini說AI是新的selection pressure,那有selection就必然有淘汰,你假如跟不上時代,就會被淘汰
29:23Gemini說AI提高了地板所有人的baseline,提高了人,也決定了天花板,就是最新的創意,還是來自於人,所以我們可以push這個limit
29:56我們常常把AI類比成為工具和助理,那要善用,這個善呢… 面,是善的一方;面,是做好事,你当然也可以用它来做坏事
30:28那我们也要了解这个工具,它的限制,例如说它会出错,那不管是助手还是工具都不完全可靠,它会出错,所以需要验证
30:56然后它们出错呢,老板要负责,所以工具出了问题,人要负责
31:23再来一个很重要的,就是AI实际上是被动的,你问它问题,它才会给你答案,然后你要把它给你的答案拿出去用,所以在这个过程中,AI是被动的,那人才是真正的主导,即使你只是在问简单的问题,也是在提出这个问题
31:50那我觉得要充分发挥AI的功能,这个我觉得像这句古话:“问夫子如撞钟,叩之以小者则小鸣,叩之以大者则大鸣
32:18”你今天用它来修文法,那真的很容易掉很多强大的功能,所以我现在不…… 把人工智能(AI)當作是工具或者助手,我把它當作是一個資深同事,見多識廣,跨領域,很願意跟你談,而且無私
32:45無私就是它跟你討論了這麼多以後,它不會要求作為共同作者,所以我現在所有事情,不管是研究上還是生活上,所有事情我都會找AI討論,而且我強烈說,從研究的最早期構想、初期就可以找它討論
33:14我有很多的想法,我跟它討論以後,就可以殺掉就不用做了,因為我就知道這個人家或者已經做了,或者是死路一條
33:43有一些可能可以往下做,非常有用
34:12很多人擔心用了這樣的工具,我們的能力就會流失,關於這一點,我就跟AI有很長的辯論,去說服它
34:41AI說不會流失,最後終於說服了它,AI幫我找到了些例子,這是G E... 我找到的,他說蘇格拉底曾經強烈反對書寫,他認為你把討論語言的討論放在文字裡面,我們就會依賴文字記錄,停止鍛煉記憶力,最後將導致靈魂的健忘
35:10文字是被動的,沒有辦法像真人辯論那樣產生智慧
35:29假如我們停在蘇格拉底的那樣的狀態,我們的文明很難普及,我們都可以想像這個印刷術、書寫、書籍的出版,這個對我們的文明有多重要,所以其實我們是將記憶外包給了書籍,然後我們釋放了大腦,去進行更高階的思考
35:49那同樣的電腦或者記憶,Wikipedia或者Google都是類似的,所以我覺得我們的核心能力並不是流失,而是進階了
36:09那很多老師擔心學生,我覺得不用擔心
36:28第一個是我希望學生要用,而且我不擔心說學生的答案最後都…… 一樣,第一個是我不想出有標準答案的作業
36:48第二個是相同的工具,每個人用起來水準會不一樣
37:08最簡單的這個一個算盤,我們粗算的能力可以差天差地遠
37:28同樣用AI,你可能做到最初階的答案,你也可能經過跟它仔細的對談以後,得到更漂亮更好的答案,所以有不同程度的產出
37:54同學之間要比較要競爭,沒有標準答案,只有更好的答案
38:20所以我可以出習題給學生做,比如作業,我會出這種類型的,例如Nobel獎要頒給一氧化氮,作為一個signal molecule,那要給哪些人,他們的主要貢獻是哪些,文章是哪些,這些為什麼重要,然後為什麼其他人不該得獎
38:46也有很多同期的研究也做了,那差別在哪裡?所以這樣的題目
39:12 它没有标准答案,即使是AI,它也没有办法找出标准答案,因为它可以讲出一些东西,可是你最后要做判断
39:38你想像你是诺贝尔奖委员会,那你要怎么去选择做判断?那么如果考试或者作业都没有标准答案,最辛苦的,是老师,因为要改这样的考卷
40:00 我觉得其实老师也可以用AI来帮忙改作业,那改了以后,当然老师要自己去做判断,然后在这样的过程中,也必然有学生会偷懒,就是他就完全丢给AI
40:21 我觉得在AI出现之前,这样的学生也在啊,他不用AI,他会抄其他同学的,所以这这种是没什么好改的
40:42 这样的话,这样的学生,他会跟不上,然后他就会被淘汰
41:03 Nothing we can do,那老师要接受,Never. 我們盡力的教,但是學生要為自己負責,那AI有一些系統性的問題,這是真正讓大家很擔心的
41:24那當然一部分是這裡,就是錯誤或者假內容被AI製造出來,然後在網路上面擴散,這個會越來越容易,越來越多
41:46第二個是我們都知道,AI給的東西你要驗證,可是我們會偷懶,當AI的準確度超過人以後,我們就會偷懶不去驗證
42:07那我講的一個例子,我們現在的胸腔X光,有很多這個胸腔內科,它會去看這些片子,然後它判斷哪些是肺癌
42:29那累積了這麼多人的經驗之後,拿這個去訓練AI,所以AI現在的準確度已經超過很多好的醫生
42:50那所以你說,AI這個結果,醫生還要去判斷
43:12 如果我是医生的话,我觉得我抓到他错的机会很小,所以我就会敷衍看过,那慢慢我就根本不看
43:33那我担心的,是年轻的医生呢,根本就没有这样的经验去看影片,他不会学习,完全就依赖AI,所以我可以预测,我们未来会有很多这样的事情,我们就自己都不做,我们要完全依赖AI,那AI会放大个人的差异,认真的用的人就会变得很强,偷懒的就变得很弱,然后就可能被淘汰,所以加大这个社会阶层的落差
44:00在教育或者学术上的评价都很难,所以我们要想新的这个评价的方法,那这些都还是目前的
44:26AI也有人担心说,AI将来会不会超过人,然后它有它自己的自我意识,然后怎么样把人完全取代?那个是未来可能发生的,不过我觉得…… 得啊,刚才讲的所有这些态度,我们要分几个不同层次
44:53第一个是我自己,那不管怎么样,我一定要用,免得被淘汰
45:20然后我还要遵守规范,我要负责任,这个对个人来说没问题
45:46那我会担心其他人,比如说担心学生,担心其他的研究者,担心他们会不会偷懒,他们给的东西是不是可靠,这个我们就要注意
46:04那刚才讲的这些隐忧呢,就是整个系统性的呢
46:22我觉得,第一个不管我们怎么担心,这件事情已经发生,而且会继续发生,我们挡不住,只能看着它发展
46:40我们只能够想办法去适应,那未来要怎么改变呢,只能依赖在发展
46:58AI的这些人,现在每一个大公司都在考虑这样的题目,那他们挡不挡得了,有没有办法做到某种限制,不是我们可以做到的事情,我只管到我自己,我一... 一定要好好地使用它
47:16再來就是AI可以幫我們讀paper,這個非常重要,你可以把很多的paper丟給它,它可以幫你抓出重點做摘要
47:34很多人用它,但是我在這裡要提醒一下,摘要就有點像一個故事的架構,它是bone,它是骨頭
47:52真正的精華是在細節
48:10 那我舉一個例子,這是我自己的例子,不是AI的《Romeo and Juliet》(羅密歐與茱麗葉)
48:29我把它做摘要,男孩女孩相戀,雙方家庭世仇,兩人殉情,結束
48:47我覺得我完全抓到這個故事的架構,對不對?可是我完全miss掉這個故事的文學的優美和愛情那些
49:06 那麼,這個就是AI會給你的
49:24AI會把文獻做摘要,它是收斂,它縮減資訊
49:43那我們要讀的原文,是發散的,因為讀的
50:01 現在讓你有靈感,讓你有感情,所以這兩個是很不一樣的
50:20那問題是,文獻那麼多,我們怎麼看?所以我們要用AI來幫我們
50:38AI可以摘要抓出重點,建立全貌和架構,而精華藏在細節裡面,比如說一篇論文,它的研究方法,它為什麼用這個方法,不用別的方法,考慮在哪裡,它怎麼設計,它的數據怎麼樣取得,怎麼樣分析,有哪裡有問題,那詮釋和結論有些地方不確定,它可以怎麼樣子往前再去想,未來可以怎麼樣,這些都是我們要直接看論文,我們自己才會想到的
51:06AI很難給你這些,所以我們過去是透過期刊俱樂部或者研討會來學
51:34我們讀一篇別人的論文,然後學生發表,大家來討論
52:02 那我觉得我们应该维持同样的模式,那可是让AI一起来参与,所以找一篇文章,学生和AI都读,然后都评论,然后老师带着学生一起讨论,讨论AI怎么看这篇paper,然后从这个过程中我们可以跟AI学习,我相信这个会是更有效率的方法
52:30那等等有一个例子,AI也可以帮你从那么多的论文里面找出哪几篇是你应该细读的,这种方式当然我们不可能所有的paper都这样读,只能读少数的,所以这是第一部分
53:06第二部分呢,怎么用AI,我现在手机和电脑上有七、八个,这个是比较常用的,那我有付费的三个:ChatGPT、Gemini,还有Claude,其他的这些像Grok、Perplexity、De... Speak DeepSpeak 是大陆的,我觉得很难用,因为很多问题它都拒绝回答,那它有很多的政治上的考虑,所以那个不好
53:42那这三个呢,我刚才说付费我觉得非常值得,而且我强烈建议你不要只付费一个,你要至少两个
54:18像我呢,很多的问题我就会问三个AI,然后他们给我的答案我互相比较,或者我可以把一个AI的答案贴给另外一个AI,请它再去评论,我觉得这个非常有效,可以帮我筛检掉一些错误的信息,可以看到不同的观点
54:44那这些版本呢,一直不断地快速推进,所以今天这个模型可能是付费的,下个礼拜可能这个就已经到了免费版本就可以用
55:10那付费版本就有更好的性能
55:37那我强烈建议大家用付费的,因为…… 前面不是讲吗,现在是竞争
56:03我们都说不要输在起跑点,那这个就是一个很重要的起跑点的能力
56:29你只要花一点点钱,就可以赶过那些不愿意花钱的人,多好
56:56那很快的,讲几个事情,第一个是你希望不要泄密,所以可以在这边点进去,点进去就到setting,然后data control,然后这边improve the model for everyone,就可以把它click off
57:31那这样你的资料就不会进入他的学习资料库
58:07不同的AI都有各自不同的做法,很多是免费版本,不可以,因为它让你免费用,就是要你的资料
58:43付费以后,你就有这种option
59:19我就问AI说,你回答说这个东西不进入资料库靠不靠? 我就跟你說可靠,那為什麼可靠它告訴我說,因為這個是business reputation,所以這一點我相信,可是AI也告訴我說,還是有風險,因為可能有software的bug,最近就這個anthropic data內部的資訊就意外流出,或者說在特定的狀況之下,政府可以要求AI公司提供這些資訊,那或者永遠有駭客,所以你的資訊給他,不保證一定安全,所以最好呢,還是敏感機密的資料不要上傳,這個包括與產學合作廠商的機密數據,合作夥伴的未發表的數據,涉及病人個資的臨床數據,這些要非常小心
01:00:13那我自己的研究,我的想法,我的data,其實我一點都不擔心,我覺得我們大部分人的研究想法上面…… 大概没有多少真正是新的,别人都想过了,方法上面也没有多少是新的,那我的数据是新的,可是我的数据放到那个大资料库里面去呢,一定被average掉了,别人怎么再把它抓出来,我觉得是没有,所以我不担心说我自己的东西进去以后会出什么问题,但是牵涉到别人的这些数据要非常的小心
01:01:08 再来介绍一个我觉得很有用的是这个Google Gemini里面,它有一个叫做Notebook LM,那么这个呢,你可以上传,你可以设定一个Notebook,然后上传大概300篇的文章,你也可以让它自己帮你下载,之后你跟它的讨论就局限在这个范围之内,所以这是一个自订的范围,是具体靠谱的,在这个范围里面
01:02:19 的交談呢,它就不會產生幻覺,而且它所給你的東西呢,都會給你這個引用 citation,然後這邊就會告訴你說哪一篇 paper 的哪一段出現這個內容
01:03:31我覺得這個非常好用,再來一個是最新的發展,是這個 Agentic AI,那前面的 AI 是你問它問題、它給你答案,Agentic AI 是我可以把我的電腦的 access open 給它,然後它可以在我的電腦裡面去實際操作一些事情,所以它可以做 execution,那這個時候它可以做很多事情,比如說我現在就用它來幫我整理我的檔案,幫我的所有檔案重新命名,我覺得非常有用
01:04:02那現在很紅的這個小鰻蝦 OpenClaw 可是呢,也有人說,當你把 access
01:04:33
01:05:04 當它開放給它的時候,可能會出一些問題
01:05:35比如說,它除了在這個權限範圍之內呢,它又去動了你的其他東西,然後它動了有些東西呢,可能是 irremovable,就把你的檔案刪掉了
01:06:07那所以有人說,它養了一隻龍蝦出了一些問題,它就養第二隻龍蝦去糾正第一隻龍蝦的問題,然後再養第三隻、第四隻,最後養了四隻,互相監督
01:06:38那這個比較麻煩
01:07:09最新我看到網路上講的是這個Claude,它有個新的功能,叫做 agentic,可是在每一步都會問你 permission,要不要做,要不要做
01:07:30每一步你都說可以、可以,它才往下做
01:07:51這就是Claude,這個就是付費以後呢,它有一個app,是下載
01:08:13 在你的电脑里面,那目前只在电脑,然后跟手机没有连接
01:08:34在电脑里面,你就可以设置某些directory、某些folder,可以让它去操作,那我觉得非常好用
01:08:55可是我才刚刚开始使用,那再来就是AI的技巧
01:09:17过去都说要问,问是很重要的,那我们都说学问,学和问其实是两件事情
01:09:38那我们要问台湾的学生呢,通常都不敢问问题,很怕丢脸,很怕问错问题
01:09:59那你问AI的时候,没有这样的顾虑,它听不懂你可以在同样的问题再讲一次,它会说,那你是不是要问这个还是那个,它会帮你把问题refine,或者你也可以用不同的方式问它,它完全不会生气,不会烦
01:10:36那我们可以要AI扮演角色,你告诉AI说你是什么样的人,我是一个生物
01:11:13 學家,我要怎麼樣、怎麼樣,然后我要求AI說你要做一個怎麼樣的角色,你是一個critical的reviewer,你要提供我critica l的意見,然后所有的意見、所有的資訊都應該要有來源、要附連結
01:11:50那AI回答的答案,我們常常不會完全滿意,還要再追問、再調整,所以會一路問下去
01:12:27那剛才講過問多個AI比較互相批評辯論,那我覺得AI幻想是個人的幻想、個別的AI,所以它不會重複出現,所以我把這個AI產生的東西丟給另一個AI,它會把幻想的那個部分抓出來,甚至我發現相同的東西,我丟給同一個AI問兩次,它的幻想也會不一樣,所以這樣我就可以把那個幻想給它淘汰掉
01:13:15那我們問AI,都可以要求… 資訊來源附連結,然後點進去就可以驗證,所以這些是問的部分
01:14:03那現在有人開始說問沒那麼重要,之前人家說怎麼問,怎麼給這個 prompt,你要對 AI 說好話,要說 please,要說 thank you,然後要說些什麼,這個計畫關乎我的生死,那這些它會比較像會答得比較好
01:14:51後來有些人看多了,發現這樣也沒有效用,那最有效的發現是叫做,你叫 AI think step-by-step,就是一步一步來,你不要直接給我答案,你一步一步去思考,結果發現現在這樣的狀況之下,AI 給的答案會比較準確
01:15:30 那現在我們也不用去管這件事情,因為這個 Chain-of-Thoughts 這個概念,現在已經在所有的 AI 裡面都已經有了
01:16:08 你用这个,它都有几个版本,一个快速的,然后有一个比较思考型的,那它就会花时间去想,你还可以要求它想的时间更长一点,它就会,还会show给你看它的思考过程
01:16:46它说,你这个问题我应该先考虑哪个,然后我再去考虑哪个,然后我想要搜索什么样的资讯
01:17:24我们现在可以看到这些过程,所以问问题现在不是那么key,你模模糊糊地问也都可以,所以现在有人认为最重要的是你要提供它context,所以为什么叫context
01:17:58今天我假如要它帮我改计划,我会把我过去的所有papers、所有的计划和所有这些计划的reviewer的评论通通丢给它,然后相关的文章、所有的文献也都丢给它,那这些就是它会去看
01:18:32 了以后再来回答你的问题,这个就是 context,所以这个会比较好
01:19:06那除了刚才讲的那几个 general 的,还很多,我觉得是 domain specific 这些,是针对做学术研究上面
01:19:40现在这类很多,每一个发展到哪里我也不知道,所以大家有兴趣可以去网络上 search 看看最新的是什么,再来我们看看怎么用 AI 来帮忙写计划
01:20:14讲到写计划,用 AI 来写计划,大家都觉得是不好的,所以我们看几种状况
01:20:52我们给他一个简单的指令,他的答案就 copy, paste 和 submit,这个一般认为是不可以的,因为操作权完全在他
01:21:31我假如给他很复杂的指令,然后他做了以后,我就 copy, paste
01:22:10 提交這樣,也不可以
01:22:49這兩種狀況,因為你沒有對他給你的答案做仔細的審查,你沒有確保說東西沒有錯,所以應該是我給他 prompt,然後他給我答案,我再跟他討論、修改,多輪最後達到我滿意,我認為可靠,這個時候再提交出去,那是可以的,因為有 human 的 input,human 的 decision,那我覺得類比就好像我們現在很多老師寫計畫,他可以找實驗室的資深博士生或者博士後來寫,我覺得這個沒有什麼不好的,這是 training 的一部分,那他寫呢,他一定是在你的研究脈絡底下去寫,然後他會跟你來回討論,那你會要求他改這個、改那個,一大堆,然後最後到老
01:23:31 老板满意了才投出去,这个是我们现在常有的状况
01:24:12那这是合理的,所以我也想,我可以用AI来帮我写文章的时候可以看看什么,比如说我已经写好了,我可以让它帮我评估significance and novelty,帮我找出我的主要重点做总结
01:24:54我实际上把我自己的计划丢给它,我发现他的摘要比我自己要好,他完全抓到我想表达的重点,我自己都没有办法写得像他那么好,所以我觉得这个用它非常有用
01:25:35那它对我的这个significance and novelty就有很多的批判
01:26:05那我上一次做这个,我的一个计划已经执行完毕了,我丢给它,然后我找了两个AI,一个是ChatGPT,一个是
01:26:35 Gemini,我覺得ChatGPT有點是美式作風,他就會說好啊、很好啊、誇很多,然後沒有很嚴格的批評
01:27:05Gemini呢,就基本上說你這個是trash,有很多這個致命的缺陷,可是他會教我怎麼改
01:27:35那我覺得真的很好,雖然我那個計畫都已經執行完了,當初假如我有考慮到那些點,我的計畫會更好
01:28:04那他可以幫你看你的架構,然後有哪些弱點,那缺了什麼控制、什麼資料,然後我也可以問他說,我要投在哪些期刊,很有趣,他會告訴你說,我是一個AI,我沒辦法提供這樣的建議,可是你的這個類型好像在某些期刊裡面常常會出現,所以他還是會給你一些建議
01:28:27可以幫我rephrase this review
01:28:50 然后我可以问他说,那有没有什么参考,是我应该include,可是没有的
01:29:13很多这些问题我都可以问他
01:29:36那GPT也提供了一些,你可以怎么问,你可以要请求AI帮你summarize,包括你的problem、mechanism,然后提出可解决的差距,3到5年内
01:29:59这是针对的计划,然后each with一个一句话的假设和可衡量的终点
01:30:21那我觉得这个真的很棒,我们写计划常常没有讲出这些,就是你要有一个具体目标达得到,然后怎么去衡量达得到这件事情,那可以要请求他作
01:31:12 為一個 hostile reviewer 給你十個top criticisms,然後他可以 propositions 怎麼去修改,或者他可以幫你rewrite,給你一個sentence的objective,然後兩到三個aims each with hypothesis、rationale、innovation、approach、go/no-go decisions、outcomes
01:32:02最後還有一個convergence statement,我覺得這個也很厲害,就是我寫paper或是寫計畫,常常希望最後那句話是強而有力地說這個計畫,這篇paper太棒了
01:32:21 我們通常寫不出來,那我發現AI可以寫得很好,它可以有一句summary,真的很漂亮
01:32:40我們常常被講有很多的缺點,這些缺點就是我之前被別人批評或我講別人的缺點,那我又不細講每一步
01:32:59AI都可以幫你做這些事情
01:33:18臉書上有很多大眾用AI的心得,那請大家常常去看一看,我覺得可以學到很多
01:33:37我在這裡找到一個醫生,王介立醫師,他在臉書幾乎每天都有內容
01:33:56他之前曾說,資訊文獻那麼多,我怎麼去看?因此,他就設了一些標準、一些條件,讓AI幫你篩選
01:34:14AI可以幫你篩選這些文章是否符合他設定的條件,不符合的我就不看,符合的最後剩下幾篇,然後我再仔細閱讀
01:34:35我覺得這個方法非常有效
01:34:56 的,有用,那大家可以看看這裡面它怎麼設定它的條件,同樣的,我們可以用這樣的條件來幫助修改自己的論文
01:35:16我說要從很早期就開始問它,所以我就問說,這是我在前面的研究,我就問說,那要實驗上面要怎麼去證明這件事情
01:35:37這個細節大家可以不用看,然後它就提供了一些東西,一些實驗的方法
01:35:57然後我再問說,那這個實驗做法我需要某些條件,那請給我一些例子
01:36:18例如說在這裡,我希望是有cell,有細胞,有不同的狀態,然後要有marker
01:36:38它就給我很多個例子,我覺得非常漂亮的例子,它會找不同領域各找一個很好的例子給我
01:37:02那Gemini、ChatGPT和Claude,都各自給我一些例子,我覺得這個就變成我的一個start
01:37:25 非常的重要,那即使我用了付费版本,他们还是会给我空的假的例子
01:37:49有什么例子我就觉得这个很棒,然后一去查根本没有这个东西
01:38:12那我在外面就会看到一些奇奇怪怪的现象,那我过去是植物系出身,所以我看到这些我就会想,这可能怎么去解释,然后我就丢去问AI,我也不用细问,就问说“How to explain”,然后它就会给我一些答案,讲这个可能的机制,哪些人做过哪些研究
01:38:36我觉得就让我很快就可以想说,这个东西值不值得我继续往下做
01:38:59所以,AI可以帮我们整理文献,找出知识缺口,评估重要性、创新性,釐清我们的思绪,整理架构,抓出重点,然后它可以弥补缺失、完善套路
01:39:17这其中我特别讲的就是,我… 我們絕大多數的研究都是一個例行,都有一套路徑,就是別人現在在做的問題、一個標準做法
01:39:34你大概需要什麼樣的實驗,這個圖會長什麼樣子,需要哪些控制,那基本上都是例行的
01:39:52可是,即使是例行的,我們也常常沒做到,我們常常會漏掉一些東西
01:40:09那AI可以幫你找出來,這裡你還缺了什麼,那邊缺了什麼,那我覺得這個也很重要
01:40:26然後,它幫我們改善表達,幫助聯想,尤其是跨領域的
01:40:44例如,我可以問它說,我現在在研究這個題目,如果我想做一個跨領域的,能結合哪些領域,那它就會給我一些例子
01:41:01所以,我覺得這些AI可以幫我們非常非常多的忙,它真的做得比我做得要好,可是呢,AI能夠提供的…… 就是一个例行的,一个稳定的路径,它不会给你太刺激、创新的想法
01:41:16根据定义,创新很少出现,它给你的东西就是常出现的东西
01:41:31所以,用了AI之后,你的计划会得80分,但大家都用AI以后,大家就都得80分
01:41:47所以,你要在这80分的群体里变成90分,这个靠你自己
01:42:02因此,人类的创新还是很重要
01:42:17那大部分用的都是这段文字上的内容
01:42:32可是我就想说,那我来试试它,看图行不行,我就把我一篇论文里面的这张图,我特别找了这张图,就是非常不标准
01:42:47 這種類型的圖很少出現,那么我給它的描述呢,我也不去講這個圖到底是什麼意思,不同顏色代表什麼這些我通通都沒講,我就丟給它說,那這代表什麼,你可以得出什麼結論
01:43:24 那我就發現它給出來的結論,跟我們的論文裡面寫的幾乎一樣,所以我覺得它很厲害,在資料的分析上面,它可以做到非常好,而且它可以看圖
01:44:02 那這部分因為我現在已經退休了,所以我也沒什麼實際資料,所以我還沒用到,但大家應該努力去在這方面去用
01:44:39 那我覺得我們用它來寫東西,基本上應該是一個互惠互利的互動,就是我可能有一些初步的概念,那我是建議越初步越好,模模糊糊就丟給它,然後提供一些參考
01:44:59 當然,然後 AI 就會給我意見,然後我會修改再丟回去
01:45:18我請這邊再補強它有什麼東西,再給我,然後它再回來,我再丟回去,就這樣來來回回很多趟以後,就定稿
01:45:38所以我覺得我們用 AI 啊,大家不要擔心,好像說我們被它綁住了
01:45:58一旦你開始用以後,就會發現,你會一直不斷地用,那這個就變成一個是雙向的過程,而且在這個過程當中,我一直覺得我是主導,那 AI 的角色,我剛才講說我認為已經超越工具或助手,像是一個資深同事或合作夥伴,而且跨領域
01:46:18那我可以跟他做很多這些討論
01:46:38那 AI 對我的提問是被動的,然後它沒有私心
01:46:58沒有私心呢,這麼多的貢獻,照理講假設一個同事做了這些,我會把它列為共同作者,可是,AI,不可以作為共同作者
01:47:17 作者所以我只能谢谢它,那要怎么谢,所以这个是现在这是ChatGPT建议的写法
01:47:36作者感谢某个模型,你要把那个model version都讲清楚
01:47:55在研究构思阶段担任了批判性对话对象的角色,通过与AI的递回式讨论,作者得以厘清论述架构并发现逻辑盲点
01:48:14然而所有最终的科学判断论点采纳及文字订稿均由作者本人全权负责
01:48:33我们现在看到很多的这些揭露使用AI,大家都会写说我用它改了英文,我觉得这个,或者你是大材小用,或者你是没有诚实,就是你用它帮了很多的忙
01:48:52但是大家不敢讲说我用它做很多事情,我觉得就放胆大声的讲出来
01:49:11这里就讲了我跟他来来回回的讨论,让我想清楚了
01:49:36真正大家要的,是最后这句话,最后的
01:50:01 科學判斷論點採納文字稿均由我負責,我全權負責,我們只要的,是這句話,其實這句話講的也是多餘,因為本來你就該要全權負責,那這個揭露,通常是說註明在研究方法,那就是把它當成是工具,或者在致謝欄就是把它當作是一個助理
01:50:26那Elsevier給的這個範本是說,During the preparation,我用了這個in order to做什麼?After using this tool,作者審核並編輯內容,並對內容負完全責任
01:50:51 最後這句話這是重點,那我再加上一句話,我加上我們完整的討論歷史與 AI 示範我指揮角色的內容,都是可以在需求時提供的
01:51:16也就是說,我要把我所有跟他對談的記錄都保留下來,將來如果有人質疑說你這邊完全都是AI幫你做的,我可以拿出來說,你看,這是我引導他做出來的
01:52:11所以我覺得這個在目前來講還蠻重要的,可是這個東西呢,可能很多像我這個準備這一個talk,因為跟AI來來回回有很多的辯論,所以光是我跟ChatGPT的這個對談,我把他們一段… 一段复制下来存成Word档已经有四五百页了,所以这是非常多
01:53:06那现在有的期刊呢,要要求说像Science这一系列,Science这个AAAS Journal,他说要把所有的full prompt都提供,那提供As in appendix
01:53:45它只要你的问喔,它不要求你的,它不要求AI的回答,因为AI回答可能太多
01:54:24还有另外一个系列呢,Journal of Medical Internet Research,就要求说complete original prompt和response transcript,然后储存在一个file提供给它
01:55:04那目前只这两组,其它的期刊…… 刊登部分還沒有這樣的要求,所以使用AI的規範,這邊是生成式的AI,不可以作為作者,因為他缺乏人格,他沒有辦法對作品承擔責任
01:55:34那使用AI一定要註明,或者在method或acknowledgement再來,這一點很重要
01:56:04生成式AI產生的圖像和影片不能使用,這個包括你的graphic abstract、你的這些示意圖、摘要圖,這些都不可以
01:56:34我們等一下有例子來show,因為很容易出錯
01:57:04那除非你的文章就是專門討論這件事情的,那你可以用,但是要告訴editor,然後editor許可
01:57:34那假如你是用AI產生數據的分析圖,例如說做個曲線或柱狀圖,這些是可以的,你還是要註明,然後你自己… 要验证,因为这种图是数据库,它比较容易验证
01:57:58再来就是不能用作审查,因为会违反审查的保密协议,然后敏感信息不要上传给AI
01:58:23这些是生成式AI的规范,目前几乎国外交上都是这样做的,那非生成式AI呢,就没有这些麻烦,因为生成式AI它是一个黑盒子,它怎么运作得到那个结论我们不太知道,所以它给你的东西是没办法复製,你每次问的结果会不一样
01:58:47非生成式的AI,它是一套固定的做法,所以这个时候呢,它是你只要提供所有的参数设定,那别人可以照着会得到相同的结果,所以对于非生成式AI,我们没那么担心,但你要提供这些实验的条件
01:59:12好,所以这些是需要遵守的规范
01:59:37 那有同学在事前就问到说,现在台湾有哪些已有的规範,这里我列了一些,从科技部到中央研究院、台大、成大、阳交大、清华,然后台湾学术伦理教育学会,都有这样的规範,那我就没有一一列在这个上面,基本上,这些规範讲的就是我前面讲的这些事情,那国际上也有一些
02:00:01 那有的我有附上这个网页,大家可以去看,所以这是第三部分,接下来讲这个,就是用它来帮助做研究,有什么样的问题?这里我们要说,我用了人工智能,别人会怎么看我,或者说别人用人工智能,我要怎么看待这件事情?这里面就蛮有趣的
02:00:02 那刚才我们讲了这一堆规範,我就问我同事说,假如我用人工智能来帮忙写计划,我强调是帮忙喔,不是完全用人工智能写喔,然后我说我完全遵守这些规範,你觉得这样可不可以? 以同事有很多的擔心,我問AI,AI也有很多的擔心
00:00 很有趣,AI對AI非常沒信心
00:00 那AI就列舉一些可能出現的問題
00:01 那我就說所有你講的這些問題,人都會犯
00:01 為什麼AI會這麼受到重視,而且AI犯了可能還比不上人
00:02 所以我覺得我自己可以負責任地使用AI,但是我很擔心別人,因為我會覺得別人會偷懶,別人會不負責任
00:02 為什麼會有這樣的落差? 可是跟AI討論了很久,最後Gemini給我一個答案,他說這個叫做信任的不對稱,就是我信任我自己,因為我很知道我自己做了什麼
00:03 他舉了一個例子,Gemini說:我知道我是一個行政主廚,我燒菜非常用心,可是我擔心別人只是micro... 我們在這個過程當中呢,就是我們不太信任別人,那我覺得最終的這個關鍵就是,到底在用這件事情上面,你是不是 in control human,是不是 in control
00:03我在做的時候我覺得我是在 in control,別人做的時候我擔心,所以呢,為了別人的擔心,我們要保存所有跟AI互動的記錄,也包括時間
00:04那這個保存記錄也很麻煩,就是現在的AI上面,你可以把這一次的這個問與答各自 copy 下來,然後存在哪一個檔案裡面,可是我說我們談了這麼長,有沒有辦法單鍵(single key)就把所有的過程通通 copy 下來,都沒問題
00:04這個處理過程很繁瑣,所以我覺得這個還是很討厭,希望以後可以... 以簡單一點,那別人偷懶現在網路上有這樣的工具,我最近為看了以後,我的臉書上就不斷出現這些廣告,那這都是商業的廣告
00:05有一個呢,說它有一個58頁的prompt丟給ChatGPT,它就直接幫你生成論文
00:05論文可以從chapter one到chapter five,只需要幾個小時
00:06那我就只進去看,我想說那它完全幫你寫嗎?那你還是要提供一些資訊,你要的topic是什麼?那你這個研究的方法,比如說target population資料收集的方法,這些都要告訴它,然後它可以照這個幫你寫
00:06那我就在想,那假如這裡面牽涉到有data,這… 資料哪裡來,所以我覺得這樣的寫的東西呢,最糟糕的就是它的那個核心的內容可能是它生成的,都完全不可靠的
00:07再來有一個工具叫做 Thesis AI One-Prompt Drafting,它可以幫你寫各種論文,那這些都是要花錢的
00:07然後,我就看到現在這種工具幫你寫 review 非常好,你可以給它這個領域,然後它就可以幫你把所有的 reference 都看了,寫一個 review 裡面不會有你的 primary data,因為只要牽涉到 primary data,就不可信
00:08這樣用 AI 來幫你寫,並不是幫忙,而是代寫
00:08我覺得,這跟過去的買論文、代寫或是 paper 其實很像
00:09 mail 是一樣的事情,那我覺得永遠有人會投機取巧,那也永遠有人沒有被抓到,這個自古皆有
00:09但是這裡面有幾個風險,第一個風險呢,過去假如你買paper,一個風險是它把這篇文章賣給你,還會賣給別人,所以到時候會有兩篇三篇paper一起發表相同內容,所以你就捲入抄襲
00:10現在不一樣了,現在不會有這個問題,因為AI每次都給你生成不同的內容,可是呢,假如涉及文獻或者數據,就有可能是假數據,這個時候你還是有學術倫理的問題
00:10還有一個很重要的問題,過去人家買paper、買論文,最大的風險是你跟這個service買了以後付了錢,它就回答說,當你的論文被接受以後,我會把所有的記錄都銷毀,但我就碰到有
00:11 一個人來跟我講說,real case,他就被勒索了,因為那個人沒有把資訊銷毀,然後掌握了那些資訊,就來威脅他
00:11那這個很嚴重,因為你會被威脅一輩子,你將來就不要選總統
00:12那今天你用AI去幫你寫,不要忘了,AI的背後是有人,所以你付錢,你是付給AI背後那個人,它掌握了所有的過程,所以也有這個風險,所以這個是非常嚴重的風險,這個要非常小心
00:12那當然,這個代寫假如是涉及是學位的論文,那就又牽涉到學生的能力的考核,所以AI可能涉及的學倫理兩個重點,一個是偷,一個是騙
00:13所謂偷呢,就是你把別人的東西拿來當作你自己的credit
00:13這個是偷,那就是抄襲
00:14那所謂騙呢,就是你的結果、數據是假的,或者經過變動
00:14 兩件事情是學術倫理的主要核心問題,那不管犯錯的是誰,作者都要負責
00:15那今天的AI比較容易發生虛假的數據、文獻或者錯誤的示意圖
00:15AI作為工具是中性的,它可以為善也可以為惡,那人才是操縱者,所以人要負責
00:16所以這個跟AI沒關係,在沒有AI之前,我們也可以用很多其他的工具來做壞事,比如說抄襲,有人可以把一篇Paper,比如說英文,請Google Translate翻成韓文,翻成阿拉伯文、俄文,然後再翻回中文,就體無完膚,沒有軟體能認得出來
00:16那過去這些事情可以做,那過去這些被抓到的都很偷懶,就直接copy and paste
00:17那今天呢,用AI可以作假,那可能會更嚴重,而且今
00:17 天,你要去抄襲就非常困難
00:18AI可以幫你把一篇文章完全改寫,所有的核心內容本質沒差,但是文字上面完全認不出來
00:18可是今天我們認不出來,不代表未來有沒有工具可以認得出來,所以這個風險還是不要去冒
00:19再來我們看這個圖像,這個是一篇發表的文章,然後這是兩個示意圖
00:19這個是老鼠的睪丸,它要去講它裡面的幹細胞,然後這是一個訊號傳遞的示意圖,看起來都好像不錯,但是你只要把它放大以後,就發現這個圖裡面的這些文字都是亂的,都不是正常的英文字符,所以AI做出來的東西常常都是這樣,遠看好像很棒,近看就發現問題很多,所以目前所有的期刊都說不可以用AI產生的圖像,那這篇文章就被撤回
00:20再來我們看這…… 虛假的文獻,這個是去年底香港大學一個教授、副院長,那他的文章裡面就發現有幾篇文獻是假的,所以他就辭去了副院長的職務
00:20然後今年前一陣子,有個政大博士生的博士論文,他用AI幫忙,然後也有文獻發現是造假的,而且好死不死呢,其中有假的文獻是有真的作者,那個作者教授就跳出來說,我從來沒有寫過這篇文章,所以這個就鬧上新聞
00:21 然後現在的處理是,這邊學術論文就下架,然後學校在調查當中
00:21我就問AI,說這種狀況應該很多,那有多少案例是用學術倫理來處理
00:22結果幾個AI都說,現在還沒找到具體的案例,因為虛假文獻,所以作為違反學術倫理
00:22 好了,我們先說怎麼樣避免這種東西,避免虛假文獻
00:23我可以要求所有AI提供
00:23 供的文獻都要提供資訊來源連結和DOI,這時候我點進去就可以驗證,然後我可以請同一個AI或另外一個AI做驗證
00:24驗證的這個指令是這樣:請核實本論文所列參考文獻的真實性,就是說這篇文章是否真實存在,並驗證文獻內容是否與本文的引用語境相符
00:24它可能給你一篇文章是新的,有可能跟你要講的事情毫不相關,所以你要要求它去驗證這個
00:25 那我就發現,我剛才最前面show的那例子,那一串文獻我丟給它都可以抓出來
00:25同一個AI也抓出來,另外一個AI也抓出來,所以我覺得這是一個很簡單很好的工具
00:26可是即使這樣,我還是不會完全放心得,所以我還是要每一篇自己去驗證看看,那我也可以在一開始我就提供它一個真實的文獻庫
00:26 就像那個 Notebook LM 一樣,或者我在提示的時候呢,我就要求他每篇文獻必須包含標題、作者、年份以及有效的DOI連結,然後要告訴他說,如果你找不到,就直接回答找不到,嚴禁自行編造,因為很有趣的AI就很歡迎編造,它不承認它找不到或它不知道,它一定要給你一個答案,所以你一定要很明確地告訴他嚴禁自行編造,也可以要求他優先引用來自這些可靠的文獻庫的文獻,那避免虛假圖片,你要放大以後仔細檢驗、修改,要非常仔細地檢驗,因為所有東西都可能有問題
00:27那我覺得在目前工具還沒有可靠的時候,就不要用了,那假如你用了,在投稿的時候一定要註明清楚,就是說這個圖我是用生成式AI產生的,可是我已經檢驗修改
00:27 我确保它没有问题,告诉editor这个样子,那editor要不要接受?那碰到这样的虚假内容呢,要怎么处理?我觉得如果它牵涉到数据,那它影响的是研究结论,那这个是造假,这个是严重的学术伦理的问题
00:28假如牵涉到文献或者示意图,它本质上这个都是它造出来的,所以是造假
00:28但是我觉得有轻重不同,假如这个文献是涉及核心论述的基础,比如说我这篇文章是based on某一篇重要的paper,可是这篇重要的paper其实是假的,那我的整篇文章其实就是建立在一个空的基础上,那这个就不行
00:29所以假如说这个虚假文献是涉及核心论述基础呢,那这个时候它是严重的学术伦理问题,即使你是无意的,但是很多时候…… 它可能涉及的是不是在这个核心论述基础上,例如说我有一个论述,然后我引用了10篇文献来support我的这个论述,10篇里面有两篇是AI给的假的,我把这两篇删除后,我的这个论述还是可以的,所以这两篇其实没有影响
00:29就是说overcite,那这种时候呢,我觉得啊,就不要把它当成学术伦理的问题,我是建议就行政处理,意思就是说你就要求它修改或者退稿,或者已经发表的就撤稿
00:30那我们前面看到那个示意图错了,它是撤稿,然后我们有看到说学校那一端会不会用学术伦理处理,目前的这个公开资讯里面看不到这个
00:30我觉得这个类别啊,就好像我买了一个仪器,还没有校正,我就拿来做实验,然后实验出来这个数据
00:31 呢,就可能有错
00:31那我反正就把它发表了
00:32然后之后发现有错,这个时候我不是蓄意造假,可是还是有影响,还是不对
00:32那可是这个就有轻重的关系
00:33再来一个 point 就是大家都关心能不能够区分 AI 的作品,比如所有的论述都是这个多多少是 AI 产生的
00:33那其实我用 AI,我发现每一个 AI 都有它的风格,我可以感觉得出来,这一段是 Gemini 写的,那一段是 ChatGPT 写的,可是我没有办法 100%
00:34现在有很多的工具想要来辨别,没有一个是可靠的,它可以告诉你,这看起来像,可是看起来像呢,在法律处理上就不行,你不能用来做这个法律的基础
00:34那 Gemini 说这个 OpenAI 有一个软体叫 classifier
00:35 也都下架了,所以他说连制造矛的 人都造不出盾,那我觉得呢,这永远是一个军事竞赛
00:35AI永远要像人,然后其他的辨别软体就永远要想办法追着它走,永远跟在后面,永远抓不到,所以我不预期未来可以真正可靠地辨别这件事情
00:36那反过来说,我觉得这个问题根本就不重要,就是谁写的根本不重要
00:36那等一下要讲到这个,重要的是说内容,作者要负责
00:37我们看到这有被抓到的几个例子,就是用AI写的,比如说这篇文章,这已经发表的,它里面就有这个regenerate response,它这里as an AI language model,这很明显就是整个给它抄下来看,然后贴出去,完全没有处理
00:37那这个文章呢,就retrac
00:38因此我... 我們很難辨辨是不是 AI 的,然後我們目前被要求要揭露
00:38假如你用了 AI,但是你沒有揭露,那這個有什麼問題?我覺得假如說你的論文沒有騙、沒有偷,那沒有揭露這件事情違反的是你跟期刊或者國科會的約定,就是他說你用了要講,那你沒講
00:39那我們很多東西都沒講,我實驗的條件都應該要交代清楚,但常常我們會漏掉很多東西沒交代清楚
00:39那碰到這種事情會怎麼辦呢?reviewer說你這裡沒交代清楚,講清楚,你就revised,那實在你都沒講清楚,reviewer覺得很爛,就reject
00:40所以我認為這樣的事情沒揭露就行政處分
00:40然後我覺得這個要求揭露是一個過渡期的反應
00:41那我們過去有一些工具,一開始出來的時候,像這個… 我們都要把那個實驗條件講得非常清楚,寫得很長
00:41那今天已經完全不用,你就說我PCR了,我BLAST了,它就變成一個動詞
00:42那大家都相信你知道怎麼做,follow基本的方法
00:42所以現在都已經默認,所以Gemini說,這個要求揭露是一個典型的安撫性的儀式,就是有一個新東西出來,我們不知道要怎麼辦,那可是我們要告訴大家,尤其是政府,一定要告訴大家,我們在doing something,所以我們就設定一些做法,要要求你一定要怎麼樣,可是這個做法其實是無效的
00:43那我覺得未來當所有人在用的時候,就沒有這個問題了
00:43那我覺得要求揭露造成困境,道德上的困境,對於使用者來講,我... 不要透露,我透露了以后,是不是reviewer会认为我偷懒,那这样是不是对我不利,所以我相信很多人有用,但是只敢说我用它来改文章,那reviewer呢?现在所有的规范都说不可以用来审查,对不对?好,那么假如今天看到有一篇文章,看起来就像是用AI写的,那我该怎么办?我要追究吗?我要告诉国家科委这个,你要当作一个案件来审查吗?那我是不是要不用AI来帮忙审稿?我有那么多的文章要审,那我的loading很重,大家都说不可以,但是去年有一篇文章就去survey了很多人,他就发现,大概一半以上的reviewer都在用AI做review
00:44等一下,我们还有一个例子,所以其实很多
00:44 人在用,但沒講好
00:45那國科會要怎麼辦呢?我相信國科會知道很多申請人或者審查人有用AI,可是沒有揭露
00:45那國科會要不要追究?追究起來不得了
00:46那所以我的建議呢,就是說揭露的意義其實不大,而且沒辦法求證,那造成大家的困擾
00:46建議無需深究,這無需深究的意思就是說,你的規範放在那裡,可是人家沒有遵守,你也不要真的去怎麼樣子處理
00:47要處理就行政處理,你就說補齊修正就好
00:47 那有人問我一個問題,說我是一名研究員,我碰到研究上的問題,請AI幫我想辦法,然後我再去讀懂判斷,然後最後用了,這樣子算不算是我想出來的東西?那我就找類比,我把生成式AI換成別的,我自己去查文獻,文獻是過去人家的東西,這也是別人的
00:48 我可以問老師,我可以跟同事、同學討論,那討論了人家給我的建議,我就去想辦法了解然後判斷,對不對,所以我可以把這個生成式AI給它替代,就是我們熟知的現在的狀況,所以沒有問題,AI提供一些建議、提供幫忙,最後的判斷還是你自己,所以你自己的貢獻是問題的形成篩選、判斷、後續的執行,所以這個是你的東西,原創性,我研究的idea來自別人,所以這樣的成果算是我的嗎?這跟AI類似,幾乎所有的研究進展都奠基於前人的研究,我們讀文獻、聽演講、獲得啟發、靈感,這個時候,你很可能有citation,給人家credit,也有可能你聽演講聽到的之後,你已經忘掉到底是誰講的,你也不會再去cite那個人,就過了,那假
00:48 如是合作,你身邊的這些學生、博士、碩士,如果是AI,那你就它就是共同作者
00:49大家的貢獻非常重要,牛頓說:「如果我看得比別人遠,是因為我站在巨人的肩膀上
00:49」Geminii說:「只要你誠實標註了肩膀,剩下那部分你自己跑完的最後一哩路,無論多短,都是你的原創
00:50」Claude說:「這個是知識的功勞,我站在誰的肩膀上,我要誠實引用,這個包含AI,然後我的研究加入了什麼,這個是在知識的進展上面,所以我覺得,我今天講這個對實驗科學來講是很適用的,因為我們一定有一些東西是AI做不到的,然後我們做了,那我們有知識上的進展
00:50那你要是文學創作,或者現在作曲,這些我覺得就比較難了
00:51那我剛才講說,這個誰寫的不重要,我覺得從幾」 個點來看,一個是政府資助研究,要的是真結果,它要的不是某教授做出來的這個結果
00:51不管是 A 還是 B 還是 C 做出來都可以,你們都可以提計畫,我來挑
00:52那所以我們審計計畫呢,我們要看的,理論上不應該是那個人,而是看計畫的可行性和執行力
00:52過去我們看人,是因為這個人關係到可行性和執行力,那有人可能他就沒有這些儀器,沒有這些資源,做不到他要做的事
00:53 可是今天,AI 也可以幫你做這些事
00:53那另外一個點是,今天所有的研究都是高度分工合作,因此在一個研究當中,有很多部分會來自於不同的人,包括創意、執行、修正、撰寫,然后可能有各種各樣的合作夥伴
00:54那今天就包括了 AI,所以不是 PI 提供了所有的事情,而是 PI 只是整合主導
00:54 我跟AI討論了很久,Gemini終於接受說,學術界必須放棄對來源的執著,接受創意和內容可能來自多元化的輸入,包括AI
00:55那前面有講到,AI不能夠用來做審查,可是今天呢,因為寫計劃或者寫論文的成本很低,所以我隨便就可以寫,那所以審查的負擔很重
00:55那當然一個做法是,我可以限制每個人可以投計劃的數目,那美國NIH說每個人每年可以投6篇,6篇還蠻多的,台灣大概大家能夠寫個一兩篇就不錯了
00:56那另外一個就是,計劃的品品質趨中,那我覺得作為一個審查人,我現在看到計劃,我覺得一則以喜,一則以憂,因為過去呢,很多計劃是看不懂的,寫的真的是亂七八糟,條理不清,我要花很大的力氣才能夠了解他到底想講什麼
00:56 那今天呢没有这个问题,今天所有的这些计划如果用AI帮忙,就是条理清楚、架构清楚,我都看得懂,所以容易检查
00:57但是反过来说呢,今天所有的计划都达到一定的水准,过去我可以很容易地说,这个英文就很烂,然后他的讲不清楚,那么表示他没有想清楚,所以这种计划就可以很容易淘汰
00:57今天没有这种计划,每一个都很棒,所以reviewer的工作就更困难,因为你要去辨别哪些计划是好的,比别人好的
00:58另外一个是呢,作为reviewer,我担心他的reference都不可靠,所以我每一篇如果都要去验证,那真的会把我累死,所以reviewer真的负担会很重、很重,所以我们还是要找AI来帮忙
00:58那现在确实有一 一些期刊開始做這種審查,就就是他做一個 AI,是 internal within-firewall,所以這個時候他讓 reviewer 使用這個 AI,這個資訊就不會外洩,就保持了原來的這個 confidential agreement 這樣就沒有問題
00:59那我相信這個會越來越普及
00:59那最近我就看到這個期刊 Frontier's Journals,他們就用了這個 AI review assistant,那它用來減輕審查人的行政與查核負擔,它可以幫你檢查這個文字有沒有抄襲,圖片有沒有 copy,然後利益衝突,就審查人跟作者之間有沒有這個潛在的利益衝突的關係,那他的 IRB 有沒有得到的批准,等等,各種各樣的
01:00 這些基本要求可以幫你做這些文獻,是真的是不是真?那我覺得這個省掉reviewer很多的負擔,所以這是一個很好的事情
01:00他也強調說他不做接受或者拒絕的決定,就是說最後的決定,他不真正去review這個文章的好壞
01:01這個留給reviewer人去做決定,可是我會想像人一定會偷懶,假如我是一個reviewer,你給我這個AI幫忙,那我多多少少會問一下,那你覺得這篇文章好壞,跟你所看到的其他文章的比較?那最後我們還是會把很大一部分責任丟給AI
01:01那這個未來會怎麼樣子發展,是不是會重更改變我們今天的學術發表的這個制度?我覺得這個都還在等待看看會怎麼發展
01:02那有一個最新的例子,就是這個Intech
01:02 這個是國際機器學習大會(International Conference on Machine Learning)的一個大型國際會議,他們就做了一件事情,他問reviewer說,你在review的時候,你要不要用AI,你可以選擇要或不要,然後他把這個文章丟給reviewer去審的時候,他在裡面做了一個、這個叫做prompt injection,就他放了幾個特別的字,然後這個字呢,如果說AI看了這個文章以後,就會出現在他的這個report裡面,結果他就抓到有506個reviewer,那做了700多個review,大概是所有reviewer的1%
01:03那說我不用AI幫忙
01:03 審查可是用了AI幫忙審查,那個等於是一個釣魚啊,他用了這個去釣出來這些人,那他就把這些Reviewer自己的 PAPer通通Reject,就有差不多五百篇PAPer就直接Reject
01:04那這個做法,一個是顯示說,用AI做Review其實是很常見,而這個趨勢很難擋
01:04另一方面,另一個做法呢,被很多人批評,就是你把這個Reviewer的PAPerReject害到他的Co-author,所以你是害了額外的可能innocent的人,所以認為說這是一個Unethical的entrapment
01:05就釣魚,另外還有一個評論,就是說這個做法只能用一次,很快大家就會知道
01:05 學乖了,下次就不會這樣子,大家就知道怎麼去躲開這個
01:06不過,這個至少讓我們看到,我覺得用AI來幫忙review,很可能是一個趨勢,必然會發生,所以我的summary我想最主要幾點是,研究是一個多元分工合作,AI是其中一員,審查計畫或者論文,重點在創新、可執行、成功機會,誰寫的不重要,揭露無效且造成困擾,那用AI審查現在不可以,未來可能會放寬,當然是在有限度的條件之下放寬
01:06那這是acknowledgement,有些人提供一些意見,然後我用了很多的AI,最後我用這個做結論、結語
01:07While intelligence is becoming artificial stupidity... 我还是会保持原来的内容
01:07我觉得这蛮有趣的,不过这个来源是哪里我也不知道
01:08有一天看到了,好,那我就今天讲到这边
01:08大家事前提的这些Q&A,我希望大部分都已经能够解决了
01:09如果还没有解决的话,欢迎可以提出
01:09请问在场有没有什么要询问的?在线上还有1000人,那有人问题吗?我今天在等大家想问的问题的时候,我先补充一下
01:10如果你是自然科学或者说就是实验科学的话,我们都知道现在有一个系统叫Credit System,三个字是小写,其他都是大写
01:10这一个系统它又分了作者的14种状态,比如说你是formal analysis或者writing,就是初步的writing
01:11 還是 revised,等等等等,它就把作者的14個角色都分出來了
01:11那現在很多期刊是要你根據這個credit這個模式去註明誰做了什麼事情,然後你就會看到有人說什麼連funding的這個obtained這樣子都可以寫,還有lab management、supervision、idea什麼什麼的,你就看下面有很多人的縮寫,這樣表示把那些所有作者不管多少人,就要根據這個credit 14種分類去分
01:12那現在世界上有很多很多的研究單位像您剛剛提到的COPE,還有像STM等,都是在倡議學術倫理的,這些他們正在做一個辦法,就是把這個14種的角色呢,讓…… AI做出一個辦法,讓AI也可以加入,也就是說,AI在這14種角色上面,contributor的角度上面,它做了些什麼事情,將來我們要揭露的時候,它就有兩套系統包含說每一個人作者,它做了什麼事,然後還有AI,它做了些什麼事情,所以我們就拭目以待這樣子
01:12我只希望現在我們常常講這個作者貢獻會要有一個表說每個人的百分比,我 حقی觉得這個百分比很,只有台灣的那個升等的代表作,這個真的很難,那我希望將來不要把AI放上去問AI貢獻的百分比,因為很多這些貢獻真的很難去說
01:13AI在學術研究有哪些做不到的,這個有點大哉問,它做到哪裡,其實我覺得要看人的探索,那目前很多人都認為AI的
01:13 创新虽然有限,但我觉得AI在某些程度上,它还是可以做到创新,因为很多的创新过去其实就是把不同领域连接起来
01:14那AI现在可以帮你做这些事情,你只要要求它做这个,所以它就可以做,所以你看,我们诺贝尔奖已经颁给了AI的工具
01:14当然颁奖的得奖的是那个人,但那个工具它可以做很多事情,是我们过去做不到的
01:15所以我觉得怎么去讲它能做到哪些,我觉得看人怎么用它,应该会越来越多,或者把这个题改一下面,就是现在从学术伦理的角度,现在我们不允许AI在学术研究中做些什么事情,绝对不允许用它来产生数据,我觉得这个数据不能够是凭空造出来的
01:15当然有些状况下,我们可能用……我知道统计上面这些,你会……… 產生一些數據,然後用來做 training,這種是特殊用途,然後講清楚,我覺得是可以的,那就是你怎麼用,它一定要講清楚,然後經過 reviewer,可以接受,讀者都 awareness,我覺得這樣就可以
01:16 目前我想最關鍵的是這個,那AI做的東西有錯,那個就是我們要避免的,也就是說它不可能取代所有的 bench work或者是實證的資料,包含像人文社會領域,也會去收問卷,或者去訪談,去做實地的觀察,這個都不能
01:16 所以實證資料是一個很好的,就是一定要實證資料,這個是AI沒有辦法提供的,但是真證資料回來之後,比如說訪談了15個人,我可以把我的訪談稿全部都輸給它,叫它來幫忙分析一下,這個可能還…… 可以嗎?這可以,但是你要確認說它最後分析的真正是沒有脫離那些訪談稿了
01:17孫教授,你好
01:17演講非常精彩,我想請教一個問題,就是說,你在使用這三個AI工具的過程當中,會不會發現到它實際引用的文獻大部分都是來自於網頁或是Open Access的文章,所以學生或我們在寫計畫書的時候,其實有一些比較核心的,因為它沒有跟出版社這邊簽版權的問題,它沒有訓練的資料,也沒有跟出版社有很好的合作關係
01:18當然,現在Wiley有跟Perplexity他們合作,所以你在使用的過程當中,它出來的這些參考文獻,都是來自於網頁或是Open Access的文章,會不會導致你在它給的答案的時候,其實它參考的資料可能會有一些局限
01:18 考文獻都只是一些學術上所謂的品質比較,不是那麼嚴謹的,這些文章會不會有這種現象,然後導致了學生或是老師在大量使用AI之後,就慢慢偏向了某一個方向,往某一個方向走
01:19好,謝謝!這個很重要的一個問題,就是確實他們能夠看到的資料都是公開的,所以那些沒有公開的他看不到
01:19在某些狀況下,他是可以,就是假如有一篇文章被別人的文章裡面引用,因此參考文獻有,然後有討論,所以他會知道這些文章
01:20那假如一篇文章沒有出現在公開的資料庫裡面,那他就找不到,所以他給出的答案,在這個sense上面,就會有一點bias,那這個會造成怎樣的後果,現在還不知道,那比較會擔心說,爛的文章會越來越多,而假如他是用大數據然後統計的
01:20 那爛文章未來會主導一切,所以他的訓練中應該要把這個文章的Quality也能夠加進去,有不同的 weighting,那我不知道現在他們有沒有做到這樣
01:21AI現在的麻煩就是它還是一個黑盒子,我們不知道他到底讀了什麼,我們知道他讀了所有網路上的東西,包括Wikipedia,包含了多少本書,他有幾千萬本書,然後他可能讀了一些Open Access的期刊跟論文,可是那些在Paywall後面的就是要買的資料庫,那些東西
01:21我們剛剛講只跟Wiley簽了一個很像是跟某一家公司簽了一個很大的合約,把Wiley所有的期刊資料就賣給了那個生成式AI的系統,可是其他的系統,其
01:22 我們不知道,比如說,最大的系統、最大的知識庫在 Elsevier 裡面,他不知道現在很多是鎖在資料庫裡面,不知道那些資料有沒有進入 training 的資料,所以您剛剛講的,是說擔心現在就是因為如果你都是靠 AI 的話,AI 就是靠那些 mediocrere 或者那些所謂的 open 的資料來回答你,其實它可能真正的經典著作,或者那個領域中的最新發展或最好的文章研究成果,其實它是沒辦法拿到的,所以造成這樣子的情況,那我們下面還蠻多問題的
01:22不過我也想請教一下,就是孫老師,你我們以前,你剛剛講的,是說如果學生現在,我們最大的问题是學生寫來的論文,你不知道它的原創性在哪裡,還是說它真的只是拼湊的,或胡說一通
01:23 然後,這個是我們現在比較大的麻煩,就是以前學生要寫英文論文,寫得爛,你就很生氣,但是現在學生英文寫來,每個人都乾乾淨淨、漂亮亮,你就會開始憂慮
01:23然後呢,它後面列了一大堆文獻,我還要去,我覺得我以前是要改學生的那個爛文章,可是現在,現在我變成一個偵探,必須用火眼去看這句話到底是誰說的,這句話為什麼沒有註出處
01:24然後我還要去看它所有後面的reference,到底是不是真的,萬一是一個我不那麼熟的領域,或者說它可能讀得已經超過我了,我沒辦法判斷的話,我覺得難道我得一筆一筆去查嗎?所以我現在做了一個辦法,就是要求我的學生,你只要你後面有引用到的,你全部的doi的文章要下載,要打包給我,我才有可能去... 看,但是呢,就是你要打包給我,然後你裡面引用的網址全部要列成一張清單,也就是說我只接受DOI的論文,好的,這個如果不是DOI的,那種就假裝它不存在,好了這樣,但是中文實上中文很多不是DOI的,就是沒有DOI這個號,這個英文大部分都會有這樣,我覺得就是除了reviewer現在的期刊,reviewer非常辛苦,我們這邊有一題,是跟reviewer相關,真的太大了,就是這個壓力變得很大,然後作為adviser,也是一個某種程度的reviewer,也是覺得壓力很大,然後現在你當某期刊的reviewer,他是一整天丟papers給你,幾乎每三天就會丟一篇給你的原因是,現在所... 有的期刊的投稿量都倍数增长,本来reviewer就已经很难找了,现在更难找
01:24不要忘了,跟国外的期刊的reviewer还是免费的,就是我们这些免费做义工
01:25因为这是part of our jobs,就是part of our career,但都是三天就丢一篇,然后我有十个期刊,我就帮过十个期刊审稿,所以每天都还有一篇丢过来
01:25然后我有时候同时审了五篇,就是变得我压力也很大
01:26这样的情况,我要讲了半天,也就是说,现在写论文没有那么困难,可是你要被accept,变得非常非常困难
01:26所有的期刊主编都跟我说,他们现在最常看到的就是觉得只要有一点点看起来这个题目或者摘要有一点点觉得没希望,就立刻先desk reject
01:27 不然的话,它可能要处理每天要处理上百篇,这是没办法的
01:27 所以刚才有一个点,就是文献reference,我觉得我可以把它全部copy下来,丢给AI,请AI判断,因为文献我觉得不牵涉到泄密,对不对?这个都是published的东西嘛
01:28 那我从一个文献我也没办法推回推出来说,这篇文章里面讲了些什么,所以我觉得直接用AI来帮我们判断文献是可以的,可是其他部分的这些文字就比较麻烦
01:28 那这里讲的说发现投稿者有AI虚构文献,我觉得看你的心情吧,你可以reject或者要求它改掉,然后很严重,它好几篇,我觉得这个就应该淘汰掉了
01:29 我相信期刊,我们大概不能用这个虚假文献去说学生的…… 一篇學生寫來的作業,應該是怎麼樣?可是,就是說那個比較嚴重的,就是譬如說跟績效有關的,可是像期刊,它其實不少,你這一篇,它投稿多得很耶,所以它的 reject 這篇,其實也還好吧
01:29我覺得很多人現在是因為你有虛假的文獻,我自動,而且你沒有說,你沒有說,你沒有要宣告AI幫你做什麼
01:30我看到你有AI虛假文獻,我可以自動地假設,你裡面的東西也有一部分是虛假的,對不對?那就乾脆 reject 算了,反正這期刊投稿非常多
01:30像我們過去也要看到一個人,他的很多拼字都錯了,我就覺得他是 sloppy,那他的整個研究的態度可能就不夠嚴謹,所以他那個文章或者計劃,我就會容易把它 reject
01:31我覺得跟這種概念是巷的,我們要
01:31 先講的,其實現在很多的軟體,包括像Turnitin或是iThenticate,它裡面也有一個功能是check AI寫成的機率
01:32那個才是麻煩,因為如果它是相似度比較,它給你一對一,我也可以用嘛
01:32我一對一比的話,我會知道我跟哪些人的文字很相似,可是那一個數值它不會給你任何參考,它就是決定就給你那個數字
01:33譬如說,決定它覺得你這篇32%的機率是AI寫的,問題是它沒告訴你哪裡
01:33然後我無從修改,所以它就reject了
01:34但是這個32%或幾趴,我們學校裡面是不能用這個事情去當掉學生的
01:34我覺得我們不要被那些數字綁住,那種數字都不是一個可靠的依據,可是我卻被錯殺了
01:35然後回來我的確是用了一些修改,但不... 我全部要讲的,是后来我们的办法还是作者
01:35几个作者,每一个人改过一次以后,最后还是送了人的proofreader,花了七八千块送了人的proofreader,然后hopefully它不是用AI改的,然后我们就要增添一点人味
01:36我已经气到觉得我得埋几个错笔,拼错字在里面,自己决定不就是AI写的
01:36现在有AI可以帮你humanzie,加一些错字进去,不过我觉得现在很多的期刊,一开始都是用一个很严的态度,因为他们还不知道要怎么办,那我觉得这个当大家习惯了,会慢慢放松,可是在这个transition,我们就只能够遵守他们的规范,但不要忘记喔,一定要你的创意要胜出,否则它得到三倍的
01:37 量它一年要處理三、四千篇文章,它根本如果它的publication的量沒有多的話,那就變成選擇就更困難,你要登上的被接受的機率就變小很多了
01:37這樣,原創的角色,然後AI幫你產生動作和場景,我覺得動作和場景應該也是要你給它某些指令,然後做選擇嘛,所以我覺得還是你的作品啊
01:38另外,就說其實沒有所謂的AI的作品,因為AI不能夠claim它的ownership,沒有一個AI會跳出來跟你搶這個原創的著作權嘛
01:38對啊,我最近看像霍去病,或者像什麼白蛇青蛇,真的很impressive,但這題我會認為還是可以算某種程度的原創作品
01:39這位老師說,請說,今天感謝那個孫教授這個精彩的演講,但是真
01:39 我這裡有一些淺見,就是剛剛這邊有一個教授也在講,因為那個,據我所知,剛剛那個孫教授也有講過,因為他們現在用AI的東西很多,包括很多的一些文獻,也不見得說它一定是很low的那種期刊,很好的期刊,它一樣也會上傳上去,那上傳上去的話,它就會進入到他們的LM模型裡面,所以你在審查的時候,他們有時候還是會有一些很好的期刊也會出現在裡面,只是說,在整個AI的運用來講,它的參考文獻,其實還是會有一些錯亂,甚至有些可能是一些虛假的,也就是說,它可能是A作者,但B期刊,但它可能是C的內容,所以在我這個審查的過程當中,我就發現,AI的那個參考…… 尤其是它的那個內文的東西,它有時候就是東拼西湊,所以你在使用 AI 的時候,你可能要去嚴格地去查證,就是說它的這個內容到底是真還是假,尤其是現在很多的研究生,他們反正就是把一些東西全部丟到 AI 上面去,他在做這個過程的時候,就是在整個論文寫完之後,他也沒有去查證說這個東西到底是真還是假,所以剛剛那個副校長講的,就是可能要要求學生,在他傳的那個文章上,或是在最後的時候,可能要把它的那個,也就是說參考或引用的一些文獻的 DOI 可能要把它列出來,要列出來的話,這樣我們才可以去做這個連結,去了解說它這個東西到底是真還是假,這是我這幾年大概在審查文章的時候所注意的
01:40 发现的一些问题,尤其像有些投稿的他们在写这篇文章的时候,他们并没有交代它的一些数据,比如说它这个实验到底是怎么做出来的,它就可能只是就是很就会漏掉
01:40对了,所以现在那个实验记录簿其实还是非常非常的重要,而且还是要详细的自己用手写,或者把那个照片什么什么贴出来
01:41但是在数据的话,我知道像现在有些是用D A的方法,因为毕竟有些实验它的成本是非常的高,所以它会用D A,就会用那个资料增量的方法,但资料增量它基本上还是会有一个模型去fit它,看它到底是准确性到底怎样
01:41我的学生的所有统计、那个原始数据跟它跑出来的那个东西全部也得给我这样
01:42第四题如果用Word存储对话纪录会不会被质疑说可能被 修改我觉得当然所有东西,这些东西都可能修改啦,但是你真的想想你要修改的功能应该是很不得了,所以我不觉得这个修改会是一个,对我觉得根据西方的文化,只要你敢宣称你是你的宣称,然后他基本上就相信你,但是如果被抓到那就非常严重,就你敢说我就敢相信你,但是那你要修改,你要这样从头到尾花这么多功夫去做这些外在的事情而不去好好做你的研究的话,那也是没办法,不过这些都还是有可能的
01:42好,就是写review,我最近就在看,比如说我有一个构想,那我就用AI可以帮我找相关的文献,它可以帮我整理,然后我一个一个问题这样问它,那它就都帮我这样子回答出来,因为我觉得如果我用这样来写一个review paper,其实方 很多,但是在这个过程中,我觉得还是我有我的想法,然后我透过AI来帮我
01:43但你也可以用AI来做完全不用动大脑的帮你写一篇review
01:43我觉得现在这个是应该蛮容易做到的,那假如说它做了这个,然后我再判断说它里面讲的东西是不是还是假的,可是那个整个架构,那些东西可能就不是我参与了太多
01:44譬如说我要它写一篇关于乳癌最新的治疗方法,它可以写啊,那我可能不需要再给它更多的这些指引,所以在这样的状况之下,这一类的review文章,我觉得会越来越多
01:44其实我们现在也看到很多这种review文章,它就是纯literature review,它把所有的文献整理,但没有它自己的新的想法
01:45 過去這種純文獻整理是有用的,因為我們要找到這些文獻讀起來不容易,可是現在因為這些變得很容易了,所以其實在AI出來之前,這一類的review paper就已經開始蠻多了,尤其很多老師想要衝paper的話,寫這種review是很簡單的,或者說在醫學方面,尤其是醫學,只要systematic review,其實甚至還有umbrella review of systematic review of meta-analysis,這個其實非常重要,因為它可以看過去的,比如說100篇,然後就找到現在最新的乳癌療法等等,那我也要回應這一篇,最近我讀到一篇文章,這個作者實際上是在...他就說如果你... 的.review的文章里面有造假的文献的话,这个应该视为fabricate,就是它是造假的,就是说如果你的研究是自己做的,你只是有几篇文章,你的参考文献里面是造假的,这个刚刚您刚刚讲还可以用行政去处理,就是把它correct等等,但是如果你是review文章,而你review的文章,你譬如说你review了100篇文章,其中特别20篇是造假的,那这整篇文章就是叫造假,因为你的data就是那些文章,而那些文章是假的,也就是你的data就是假的,这样子,那就review的结果就是不准的
01:45我们这边有一位已经……而是在做这个学生论文口试的时候,可能遇到的问题因为…… 如果说有可能造假的行为,可能是用 Photoshop 它把胶图改编贴上去
01:46但是现在,AI 自己就可以生成假的图,那我们这些当审查老师的人要怎么监督这件事情,还是几乎是不可能的
01:46假如是像刚才讲的那种示意图,其实你放大就可以看得出错误
01:47假如说它造假的数据,那这个我觉得就真的比较难
01:47我们过去假如学生有造假,那你 的实验记录本拿出来,你的 Gel,这些照片,原始照片拿出来看,可能都是要回归到原始数据
01:48我们困难的地方就在于,可能审查过程中会觉得它的数据也很合理,所以并不会要求它提供原始的资料出来
01:48那这个有没有可能间接地导致一些会投机取巧的事情发生,这样子,会啊,会啊,这绝对会
01:49投机
01:49 現在變得更容易了,我覺得其實跟過去講到這個數據造假這一類最重要的是實驗室的文化,就像學生的論文不是今天才突然冒出來, 它是經過一個過程,這個過程當中你要一直不斷跟學生討論、去檢驗,所以這個你會老師有機會找到這些狀況
01:50這題的答案是,我個人認為是還可以,只要你有加入作者的一些創意的思維或判斷等等的話,我覺得這種東西它可以發表,但是假如我作為reviewer,我以後會用更嚴格的態度來審查,就是一個reviewer不只要看它是不是把所有的文獻都整理了,我要看它中間有沒有新的point,或者說它這個整理是不是一般人不容易做到的,那樣子,這篇reviewer才有它的價值
01:50 我會用更嚴格的角度去看,我記得APA第七版出來的時候,好像還沒有AI,所以應該是沒有這樣子的,但有些資料庫那些都是有的
01:51APA是什麼,就是一種數目格式,常用於人文社會領域的
01:51可能還沒有,不過你可以查,可以問一下AI有沒有這樣子的格式,好去查一下APA格式這樣第七版這樣
01:52AI可以幫你查,假設角色扮演,其實這個是有人會發現,這樣的角色會比較有用,例如說我假如希望他給我嚴格的批判,那你叫他做嚴格的批判,我覺得這個就有用
01:52要不然他很可能就給你一個pamp e r一下,這個做得很好了,而且ChatGPT會比較給正情緒價值,他說你問得很好問題呀,blah blah blah blah,那我覺得… micmini 比較像直男,就直接丟給你答案這樣子,所以我現在比較喜歡Gemin i和Claude,我覺得他們比較professional
01:53ChatGPT會講一些給了很多指令,說明hallucination,hallucination,幻覺,目前看起來不會完全消失,我們就是盡量減少,可是你最後還是要去檢驗,事實上是跟他講說如果你不回答,你就說不要回答了,你不要硬湊答案給我,因為他無論如何都要回應你這樣子
01:53 那我覺得用兩個三個AI很有用,就我最近在規劃我想出國旅行,而一個AI幫我規劃了整套的行程,我覺得做得很好,然後把它丟給第二個AI,他就說這中間有兩個安排呢,是錯誤的
01:54 不行的,那個單位在那個地點,在那個時候根本沒有開放,所以每個人他們可能掌握到不同的資訊,那我覺得這個就非常有用,一個給另外一個,再給第三個,这樣下來就錯誤就都抓出來了,也就是說讓你的助手們自己互相監督,學生們自己互相,你做完實驗就丟給他,他要重做類似這樣子,就互相監督這樣
01:54再次感謝孫教授給我們這個精彩的演講,然後他自己說他是比較liberal的,l i b e r a l的意思就是他是比較開採、開放的心胸,然后那個比較正向的看待,可是對於期刊主編或者reviewer甚至指導老師來說,其實我們還是蠻恐懼的這樣子,也許我們該重新思考那個時候所謂的創意是什麼意思,學生所謂獨立研究的研究精神是什麼意思這樣
01:55 好的,我们再次感谢孙以瀚老师
01:55谢谢!