<cite id="ffb66"></cite><cite id="ffb66"><track id="ffb66"></track></cite>
      <legend id="ffb66"><li id="ffb66"></li></legend>
      色婷婷久,激情色播,久久久无码专区,亚洲中文字幕av,国产成人A片,av无码免费,精品久久国产,99视频精品3
      網易首頁 > 網易號 > 正文 申請入駐

      OpenAI如何服務企業級金融 | OpenAI平臺主管1.5萬字訪談 (全文+視頻)

      0
      分享至

      未經許可不得轉載,務必保留原文出處鏈接和公眾號按鈕

      (關注本城公眾號并設為標,

      第一時間獲取最新世界頂級科技認知)


      文:Web3天空之城·城主

      前言:

      OpenAI高管訪談不算少,但一般都是講大模型研究或者愿景,這個訪談是難得一見的企服負責人談OpenAI如何做金融企業客戶的服務,對于那些做企服的大模型公司,這是一個難得的資料。本城在這里分享全文書面整理版和中英視頻。

      B站傳送:【精校】OpenAI如何服務企業級金融 | OpenAI平臺主管James Dyett訪談 2024.6.25 【中英】-嗶哩嗶哩】

      https://b23.tv/HXR6gSY

      主持人:

      人工智能將徹底重塑金融。我來到舊金山市中心的 OpenAI 總部,看看未來是什么樣子。您可能已經看過他們最新模型 ChatGPT 4o 的演示。這非常令人印象深刻。但我認為更令人印象深刻和更有趣的是這些模型今天在實際中是如何使用的。

      摩根士丹利和 Klarna 都是 OpenAI 的客戶。摩根士丹利在一年內開發出一款工具,供其 100% 的財富經理使用,從而改變他們的工作方式。在企業時間線上,這是超光速。另一方面,Klarna 僅用兩個月就開發出一款工具,實現了其客戶服務工作票務工作流程三分之二的自動化。一個大問題是,這些客戶服務代表下一步會做什么,或者 Klarna 現在有了更多的能力,將如何使用他們。

      但我們不僅要談論摩根士丹利和 Klarna,還要看看 Oscar Health 等一些客戶。我們今天的嘉賓是 James Diet。他之前曾管理過 Stripe的 GoToMarket 團隊,現在是 OpenAI 的平臺銷售負責人。當世界上最大的銀行(如摩根士丹利)或最大的初創公司(如 Klarna)致電 OpenAI 并希望使用最新模型時,他和團隊是第一批聽到他們消息的人,也是第一批看到這些模型如何在實際中部署的人。談論特定的客戶用例、他們今天在做什么、未來會做什么將會非常有趣,不僅是摩根士丹利和 Klarna,還有其他一些精選的人。

      我們還將討論構建和擴展企業 GoToMarket 動議需要什么,因為詹姆斯已經成功服務了兩家標志性的硅谷公司,即以前的 Stripe 和今天的 OpenAI。

      詹姆斯,歡迎參加節目。

      James:

      謝謝你邀請我,雷克斯。

      所以第一個問題,我想了解你的背景。你當時從 Stripe 轉到了 OpenAI。那時OpenAI 的知名度不高,而你卻要與谷歌和亞馬遜等公司的 30,000 名銷售人員競爭。那么你為什么要做出這一舉動呢?

      是的,事實上這是一個有趣的故事。當我 2016 年剛開始在 Stripe 工作時,我們的辦公室距離我們今天所在的位置只有幾個街區,位于舊金山 Mission。我們當時在一間小辦公室里,它被稱為先鋒大廈。這是一間漂亮的辦公室。

      是的,我也去過那里,不太遠。

      它非常非常迷人,而且有著悠久的歷史。事實上,在我加入 Stripe 三個月后,我們就搬走了,一家小型非營利組織搬進了同一個辦公室。我了解到,這個非營利組織是 OpenAI。我很好奇,OpenAI 是什么?Stripe 的創始 CTO Greg Brockman 是 OpenAI 的創始人之一。我很好奇,為什么這位工程師決定跳槽到這家公司?這家公司是什么?我讀了一些關于它的內容,發現它創造了人工智能,而且是非營利性的,多么古怪。

      確實如此。

      我幾乎不知道七年前會發生什么。所以這個故事很有影響力。我在 Stripe 待了六到七年后離開。然后我收到了 OpenAI 某人發來的 LinkedIn 消息,上面寫著,OpenAI 的銷售。我記得 OpenAI,他們以前在我們以前的辦公室工作,但他們為什么需要銷售?這是一個非營利組織,他們試圖制造出造福全人類的人工智能。但我非常好奇,所以我接了電話。

      這是在 DALL-E 推出之前,也是 ChatGPT 推出之前。我被這項技術迷住了。這是在這項技術炒作前、真正商業化前。我無法擺脫這對公司來說將是一件大事的想法。但正如你所說,我不認為我會與亞馬遜和谷歌競爭。我以為我會敲開人們的門,試圖說服他們和我開會討論這些瘋狂的大型語言模型以及它們如何有用。

      所以我在 11 月接受了這份工作。我上任后,我們推出了 ChatGPT。然后,在 ChatGPT 發布后的 2 月份第一周,我突然發現自己處于一個與預期截然不同的環境。

      這非常有趣。希望現在,有時客戶也會來敲你的門。這就是我們在這里要談論的。

      我想談談世界上一些最大的銀行,像摩根士丹利、Klarna 這樣的銀行。在此之前,請先給我一個客戶如何使用 OpenAI 的框架。

      是的,我們喜歡說,企業今天似乎有三種方式使用我們的技術。首先,他們將人工智能帶入員工隊伍。因此,他們正在幫助員工提高編碼或文案撰寫等任務的效率,甚至撰寫績效評估等。所以有這種勞動力生產力類別。

      第二個是關于自動化工作流程。因此,將過去可能非常手動或低效的東西,以及將這些模型應用于特定任務。第三類是將人工智能引入公司提供的核心產品和服務。因此,如果你看看所有關于將人工智能引入 XYZ 公司的公告,它們往往會遵循并屬于這三類之一。

      是的。讓我們用這個框架來談談你的一些特定客戶,也許從摩根士丹利開始,看看他們在財富管理部門內部所做的事情。

      當然。所以摩根士丹利實際上在我們推出 ChatGPT 或我們現在的旗艦模型 GPT-4 之前就押注了我們。我們花了大約一年的時間與他們合作開發一種工具,該工具將使他們的財務顧問能夠為客戶提供更好的財富管理和支持。這種工作方式使這些模型非常擅長推理任何類型的數據,無論是定量數據、定性數據,還是現在的視覺數據或音頻數據。

      如果您考慮財務顧問的工作,假設您是我的客戶雷克斯,您會經常問我一些問題,而我可能不知道這些問題的答案。比如,您可能會問:“詹姆斯,我的表現只有一半。”沒錯。但更重要的是,您可能會好奇摩根士丹利對某個特定問題的看法。答案肯定存在于摩根士丹利的某個地方。

      過去,獲得答案的傳統方法是打電話給您知道的蘋果股票專家、利率專家或大學儲蓄計劃專家,然后刷新您的記憶,這樣您就可以給雷克斯一個很好的答案。

      作為一名顧問,您可能支持50多個客戶,每個客戶可能有10種產品或更多。摩根士丹利內部有這些產品線的專家,但可能需要多個不同的登錄名才能訪問數據,更不用說打電話給這些人了。

      把所有東西都記在腦子里是一項不可能完成的任務。

      因此,過去財務顧問曾使用過一些工具。在摩根士丹利成立初期,他們可能有一些紙質文件,可以查看最新的公司研究報告或公司提供的產品。隨著時間的推移,這些文件可能轉移到公司內聯網,即內部搜索門戶。這些AI工具只是讓這些財務顧問能夠回答客戶問題的下一步。這就是摩根士丹利提供的服務。

      他們有一個工具,就像是坐在財務顧問旁邊的助手。顧問只需輸入客戶提出的任何疑問,就可以實時得到很好的答案。這很重要,因為在受監管的行業中,您無法處理模型產生的任何幻覺或錯誤。這個助手實際上會鏈接到主要來源。因此,財務顧問可以看到實際的研究報告,討論公司對利率的看法。顧問可以快速掃描,確保給雷克斯的信息是正確無誤的。

      因此,這確實是人機交互的,并且是助手。我們發現這對于銀行和其他受監管公司來說非常重要,因為他們希望知道他們分享的信息是100%準確的。

      我很想看到使用的具體細節和一些數字。所以我之前和他們談過,他們花了大約一年的時間推出這個工具。我很好奇獲得認可和訓練的情況如何,今天有多少顧問在使用它,摩根士丹利和OpenAI以及您的團隊在評估最新模型以升級平臺方面的反饋循環是什么樣的。

      是的,這個問題問得很好。這個和大多數AI計劃都是C級計劃。因此,在技術的這個階段,它不是自下而上的。我們正在與一個部門合作,我們將與這個小部門取得成功,并將這種成功帶給其他人。

      在金融等受監管的行業中,很難自下而上地進行上市動議,因為您接觸的是受監管的數據,您不能產生幻覺,所以您必須從高層開始。

      摩根士丹利當時的首席執行官詹姆斯·戈爾曼表示,這是公司想要做的事情。讓我們從財富管理開始吧。我們與摩根士丹利的合作非常緊密,因此他們在內部需要做出很多決定,關于如何將人工智能引入公司,設立什么樣的護欄和內部政策,以及從哪個部門開始。

      在人工智能中,有一個評估的概念。評估是用來確定模型在某項任務中表現如何的工具。你可以想象一堆問題和答案,我們會將其評為A+,即優秀答案。然后你測試模型,看看它與答案的接近程度。這就是我們所說的評估。

      例如,GPT-3.5在100個問題中可能得分40%,而GPT-4在同樣的問題中得分可能為70%。如果為GPT-4提供一些額外的背景信息,它可能會達到80%。經過一些微調,GPT-4可能會達到85%。每周我們都會和摩根士丹利團隊一起審查這些評估。我們的目標是,只有當模型超過一定的績效標準時,才會交給財務顧問,然后得到他們的反饋。

      模型在靜態問題組上表現良好是一回事,而了解它對財務顧問是否真的有用又是另一回事。摩根士丹利團隊不斷迭代哪些問題可以代表該技術在該領域的應用。OpenAI和我們的客戶都使用這種創建評估的框架來判斷我們是否做得好,這是一種很好的工作方式。

      這可能是您的團隊專門為大型企業開發的一項重要技能,幫助他們共同創建這些評估。

      這是一種判斷我們是否達到幫助他們解決某個問題的標準的方法。當我們探索模型行為時,會與公司合作,確保模型必須超過一定的標準才能提供給員工。企業通常需要經歷一段旅程來確定這個標準是什么,對于我們來說,優秀意味著什么。

      很多公司以前沒有購買過這樣的工具,也沒有制定標準,所以你們必須幫助定義這些標準。

      我們在談論其他客戶時會更多地談論這個問題,但他們往往不太清楚這些公司的人在評判模型的評估中表現如何。這就是事情變得非常有趣的地方。

      我認為這是人工智能中最有趣的事情之一。你會說,哦,你怎么可能相信一個模型能做到這一點,尤其是當它是非確定性的?然后你會想,等等,只有5%的企業數據是結構化的,95%是非結構化的。財富管理部門與客戶進行非結構化的互動,提供非常重要的財務建議。你意識到你實際上并不知道你的公司是如何運作的。

      我們的總裁格雷格·布羅克曼說,這些模型并不完美,我們也不完美。我認為,這是一個很好的框架,讓我們能夠將這種人工智能范式帶入一個全新的境界,那就是真正謙遜地對待我們人類所能做的事情,同時也謙遜地對待模型所能做的事情。如果我們能做好自己的工作,希望你能將模型與人類聯系起來,最終的結果會比我們現在的更好。

      這是一個有趣的想法,即使你不使用該模型,它也可能讓你更多地思考如何建立和運營你的業務,并在這方面做得更好。此外,也許還有一個模型可以為你完成這項工作。那么摩根士丹利的推廣情況如何?他們如何迭代評估?有多少比例的顧問已經開始使用它?

      這個工具現在已經推廣到所有的財務顧問。

      這非常重要,因為通常在摩根士丹利推出這樣的工具,可能需要三年以上的時間才能簽署、簽約,更不用說推出。所以現在它已經推出并上線,這非常令人印象深刻。

      事實上,我有一個好朋友是摩根士丹利的財務顧問。我問他,吉姆,你覺得這個工具怎么樣?他很喜歡。現在他可能只是想對我好一點。但我們從摩根士丹利團隊那里聽說,他們最初得到了很好的反饋。不過,我認為,如果你和摩根士丹利的人交談,他們會認為這是他們在公司內部推出的第一款產品。這可能是他們在公司內部推出的最差的人工智能產品。

      他們有長遠的眼光。我喜歡與摩根士丹利的關系,這不僅僅是我們為財務顧問做了什么,而是他們將如何長期利用人工智能?比如,我們從為財務顧問構建這個工具中學到了什么,關于如何使用這些模型。正如你所說,這些模型是概率性的,是一項全新的技術,隨著時間的推移會變得更加智能,需要換成新的模型。他們從這個過程中學到了什么,可以帶到公司的下一個AI項目中?他們現在有幾十個積壓項目。

      這對企業來說就像學習如何使用新工具然后采用它們。所以聽到這個故事非常有趣。我們來談談摩根士丹利,世界上最大的銀行之一,用例和財富管理。我想談談世界上最大的金融科技公司之一Klarna。他們最近發布公告稱,我們已經將客戶服務代表目前所做的工作中的三分之二自動化。他們是OpenAI客戶,所以很高興聽到他們如何利用該平臺。此外,這些客戶服務代表現在都應該找工作還是在內部做其他事情?

      這是一個很好的問題。因此,如果我們回到企業使用人工智能的初始框架,你可以將摩根士丹利對其財務顧問所做的事情視為勞動力生產力。我認為 Klarna 將人工智能引入了他們的核心產品,即客戶與支持團隊的體驗。因此,Klarna 的首席執行官 Sebastian 為他的團隊設定了一個非常大膽的愿景,看看這些模型在自動化客戶服務方面能走多遠。正如您所說,他們走得相當遠。現在,大約三分之二的 Klarna 客戶支持傳入票證都是由模型端到端自動化的。

      我認為這是非常了不起的。不僅僅是三分之二的端到端是自動化的,而且他們構建和發布所需的時間不到一年。

      我想我們大概是幾個月。我認為他們所做的事情很重要,這不僅僅是簡單的客戶服務。大多數時候,我們會想,客戶服務就是提出一個問題,然后得到一個答案。實際上,大多數時候,你希望你聯系的公司能代表你做某事。你希望他們提供退款,取消某些服務,或者為你升級。因此,模型不能僅僅用正確的答案做出回應。這不僅僅是一個查詢,你必須做代理工作,采取行動。這就是 Klarna 與我們一起做的大量工作。三分之二的自動化票證中的大多數都需要實際行動才能完成。

      我們意識到,這不僅僅是針對只需要文本回復的一小部分票證,而且你可以承擔這些代理目前正在做的相當大一部分工作量。

      既然 Klarna 的自動化已經奏效了,他們今天來找你們是為了什么,并希望做些不同的事情?我相信他們想使用最新的模型。

      有趣的是,如果你仔細想想,我們剛剛發布的 GPT-4o 比 GPT-4 Turbo 更智能,后者是之前最先進的模型。但我認為,新模型最讓客戶興奮的是其人性化音頻功能。這正是我們幾周前演示的。如果你考慮客戶服務,每當我打電話給航空公司時,這些功能都是自動化的,如果你需要,只需用一個詞告訴我們你的想法。你會說,代理,代理,代理。因為有時他們實際上有生物識別軟件。

      但現在,這些模型實際上可以進行像人類一樣的對話。盡管我們已經有一段時間的文本轉語音和語音轉文本技術,但它有很長的延遲,所以它對于你想要的像人類一樣的客戶服務對話并沒有真正起作用。現在,這更像是在播客上和你交談,也許你是 GPT-4 的幕后推手,你可以開始將其指向電話客戶服務體驗。目前,我們還沒有在生產中看到這一點,也沒有在 GPT-4 中推出音頻功能。但這是 Klarna 等公司接下來會真正興奮的事情。

      我認為這確實提供了更好的客戶體驗,因為沒有人喜歡在線等待。然而,這也觸及了一個巨大的社會焦慮,即我們在美國聯絡中心有 280 萬人,他們中的許多人為銀行和其他金融機構工作。

      那么,Klarna 今天對他們的客戶服務代理和基地做了什么?他們如何重新利用這些員工?從就業角度來看,這是什么樣子?

      我給 Klarna 的首席執行官塞巴斯蒂安很大的贊譽。他在推出這項服務后在 Twitter 上宣布,這些模型占據了我們很大一部分的票房。他直面就業問題,說當時他們還沒有對員工隊伍做出任何改變,但他也指出,這項技術將改變我們的工作方式。

      Klarna 的做法是讓他們的代表處理那些沒有得到正確解決的棘手問題,這才是客戶服務真正發揮作用的地方,不是在交易問題上,而是在真正棘手的客戶服務問題上。我認為這項技術將以各種方式對勞動力產生真正的影響,其中一些我們可以預測,比如某些工作將會消失。我想到的是翻譯的工作。最近在日本,我們有一個翻譯坐在我們身邊。她說,你們看起來很棒,你們會接替我的工作。我沒有給她一個很好的答案,因為這些模型的翻譯能力非常好。

      當然,勞動力將會發生一些變化,但我認為也會出現一些新的工作崗位和新的工作方式,我們目前還不知道,無法預測。舉個小例子,我現在工作的每家公司都有一個人工智能主管的職位,這個職位以前并不存在,后來才被創造出來。我想象,有進取心的產品經理會說,我有機會進入高管層,我可以成為首席人工智能官,這些職位是存在的。18 個月前它們還不存在。

      顯然,并不是每家公司都有那么多首席人工智能官,但有一個概念,比如即時工程師,真正懂得如何使用模型的人。所以我認為我們將看到某些領域的工作類型發生很大變化。我們沒想到,第一批受到人工智能等新技術影響的工作實際上是地位相當高的知識型工作。你可能會想,這可能會解決更多的低技能勞動力問題,但這根本不是發生的事情。

      我確實認為變化即將到來,而且變化正在發生。我們只是不完全知道它會以什么形式出現。

      當你遇到那些關于就業的社交焦慮問題時,這真的很難。很容易看到哪些工作會受到影響,甚至可能減少,但很難考慮等式的另一邊。而且可能會產生意想不到的后果。我認為金融服務的一個很好的例子是自動取款機。如果你看看自動柜員機的推出,實際上是自動取款機在20世紀60年代的引入。自動取款機的推出導致銀行柜員人數增加,因為它減少了柜員的部分工作負擔。這一變化花了40年的時間才顯現出來。然而,從2010年代開始,這種情況發生了變化。隨著時間的推移,雖然可能會出現壓縮,但當出納員可以從發放現金轉移到實際銷售新產品時,運營分支機構的邊際成本降低,使得運營分支機構比以往任何時候都更有利可圖。因此,銀行因為ATM的引入而開設了更多分支機構,雇用了更多出納員。

      我們正處于人工智能和金融服務的有趣階段,也許這是真的,人工智能實際上是互補的,但它的發展速度更快。進入2010年代,這一變化不再需要40年,可能只需要五年左右。

      回到摩根士丹利的情況,摩根士丹利財富顧問通常管理的資產為1000萬美元或更多。正如你所說,有了新的生產力工具,現在可以為更多的人服務。對于擁有2.5億到1000萬資產的人來說,之前為這些人提供服務是有利可圖的,這對于引入AI來說是很棒的,因為你會擁有更多的客戶。

      我們實際上在另一位客戶身上看到了這一點,那就是巴西和整個拉丁美洲的Nubank。Nubank是一家總部位于巴西的拉丁美洲新銀行,規模龐大。很多美國人并不了解他們有多大、有多有價值。我認為他們是世界上最有價值的金融科技公司之一。Nubank的規模比你通常認為的新銀行要大得多。很多歐洲新銀行可能只擁有相對較少的人口在它們那里開戶,而在拉丁美洲,Nubank在整個客戶群中所占的比例要大得多。

      重要的是,Nubank的客戶并不是摩根士丹利那種擁有1000萬美元資產的客戶。事實上,Nubank現在確實做到了這一點,而摩根士丹利可能會想,他們也許可以進入低端市場,在那里他們可以更有效地為客戶服務。像Nubank這樣的公司實際上能夠通過提供的服務類型進入高端市場,因此他們可能不需要為每個客戶都配備一個單獨的財務顧問。你不能真的去Nubank尋求貸款產品或儲蓄計劃的建議,但現在,這些模型能夠以自然語言提供真正出色的建議,使用其他語言,而不僅僅是英語、葡萄牙語或西班牙語。

      因此,Nubank客戶的體驗得到了改善。Nubank提供相同的服務不僅變得更便宜了,他們實際上能夠提供以前無法提供的新服務。

      回到最初的框架,如果你有員工生產力,你就有面向最終用戶的東西。然后,你還有整個領域,基本上就是開辟可以為客戶打造的新產品線。我們很想聽到更多關于 Nubank 推出的情況。類似的問題,比如他們花了多長時間推出,他們給你和你的團隊的反饋是什么?

      是的,我認為他們所做的事情令人興奮的地方,在運營速度方面與 Klarna 非常相似。此外,如果你考慮 Klarna 和 Nubank,我們能夠與他們合作,而無需在巴西或瑞典設立辦事處。現在,我們充分利用了虛擬會議。但在很多情況下,這些客戶能夠用我們很少的資源做很多事情。

      你提到,我正在與亞馬遜和谷歌等公司競爭。我的團隊中沒有數萬人來支持所有這些部署。但我們能夠做的是提供非常出色的建議,告訴人們如何將這些模型推向他們想要的方向。因此,我們與 Nubanks 和 Klarna 合作的很多工作并不是提供項目計劃,也不是親自提供部署支持。更重要的是,我們遇到了這個問題。我們已經閱讀了你們所有的文檔。我們自己做了很多研究,但我們有點陷入了困境。這就是我們可以讓專家發揮作用的地方。這基本上就是我在市場上的價值主張,即深厚的人工智能專業知識。

      是的。這是否屬于,您是否有一個解決方案團隊、客戶成功?比如,您實際上是如何構建它的?

      是的。因此,OpenAI 的結構方式是,我們基本上有三個不同的組織部分。有研究。研究人員是那些將新模型變為現實并不斷突破可能性邊界的博士和人工智能專家。然后,我們有了應用組織,其中包括工程師和產品經理。他們將這些模型帶入應用環境。因此,他們正在構建 API,在研究人員提供的核心智能之上構建 ChatGPT。然后,你還有像我這樣的市場營銷人員的業務。如果我們與 Nubank、Klarna 或 Morgan Stanley 這樣的客戶交談,我們主要會利用我所在組織和同行組織中的解決方案資源和業務資源。偶爾,如果出現他們無法解決的新問題,我們會深入研究。這樣的例子可能是為特定任務或用例定制模型。我們與一家名為 Harvey 的公司合作,該公司希望打造一位法律服務專家。在那里,我們與我們研究團隊的一些人合作,建立了一個法律模型,即法律 AI 專家。但是,在大多數此類合作中,我們只需依靠團隊中整天與企業合作開發 AI 的解決方案專家就能取得真正的成功。

      是的。讓我們看看其他一些客戶。所以我們談過了摩根士丹利、Klarna、Nubank。也許讓我們回到美國。但看看醫療保健和 Oscar Health。我認為他們也是另一個。所以我喜歡 Oscar Health。你花了很多時間考慮金融服務。

      Oscar Health 也處于一個高度監管的行業。醫療保健和金融服務之間的交集非常大,特別是在賬單、索賠、保險和付款方面,有很多重疊之處。

      如果我們把Oscar看作一家企業,它是醫療保健企業還是金融服務企業?從某種意義上說,它管理著臨床醫生和患者或支付患者護理費用的企業之間的資金流動。

      Oscar Health是一家健康保險公司,他們的主要業務是有效地支付其會員的醫療費用。坦率地說,他們被視為世界上技術最先進的醫療保健公司之一。然而,他們面臨的挑戰是,在醫療保健領域與United Healthcare、Cigna和Blue Cross Blue Shield等規模極大的組織競爭,這些組織擁有很大的議價能力和規模效益。為了找到另一種競爭方式,Oscar Health真正接受了人工智能作為他們的競爭優勢。

      如果仔細思考,健康保險公司需要做什么?它需要理解大量數據,包括醫療記錄數據和索賠數據,并根據這些信息采取行動。例如,它可能是在與醫生的對話中,根據醫生提供的信息批準或拒絕某項服務,或者是處理索賠及相關的所有文書工作。這些模型的優勢在于能夠快速準確地處理大量非結構化數據。醫生在做筆記時并不以特別有條理而聞名,但這些模型能夠快速準確地做出決定。

      如果我們回到摩根士丹利的例子,財務顧問面臨的挑戰是擁有大量數據,客戶希望訪問這些數據中的知識。如何使用這些模型來提取客戶需要的信息?Oscar也遇到了同樣的問題,所有答案都在數十、數百和數千頁的索賠或醫療記錄中,但沒有時間花上數小時來閱讀所有這些內容。如何快速總結關鍵信息以便做出決定?

      Oscar主要在保險、患者和臨床醫生方面使用這些技術。他們構建了一個稱為“索賠助手”的工具,可以快速為代理總結與特定患者相關的所有信息,從而回答客戶和患者的問題,例如某個程序是否在保險范圍內等。這就是他們使用技術的核心。

      作為醫療保健系統的客戶,這非常令人沮喪。你經常會問提供商或健康保險公司,某個問題是否涵蓋在內,但他們可能會告訴你先做,然后再告訴你結果。

      對于我們所有人來說,在這個領域,能夠更快地得到答案是非常重要的。這些模型在許多測試中還不如人類聰明,但它們的速度更快。當我們思考人工智能如何融入我們的生活時,這一點非常重要。比如,你希望人工智能做什么工作?你是否希望它完成一些我們人類做不到的事情,因為我們不夠聰明,例如下棋。人工智能的下棋水平可能比你我高得多。

      但有時我們希望人工智能做一些你我特別擅長的事情,只是希望它做得更快、更便宜。在絕大多數情況下,這可能是一個更好的類比。比如,你我可能可以篩選醫療記錄并總結出來,但我們是否想這么做?這么做是否劃算?

      絕對劃算。

      我很好奇大家對企業采用該平臺的一些一般想法。比如,您的客戶上線這些產品的瓶頸是什么?

      當我接受這份工作時,我認為瓶頸是讓他們關注我們。如果您考慮一下顛覆理論,一項新技術出現時,最大的客戶一開始往往會忽視它。而您獲勝的方式是從初創公司和早期采用者開始,然后證明其價值。

      這就是 Stripe 所做的,也是您幫助 Stripe 做出的改變。在 Stripe 成立大約六七年后,它從初創公司轉向向企業銷售。

      這就是劇本。我沒有參與向云的轉型,但我的理解是云也是這樣運作的。它不像世界上最大的銀行……

      云仍然是這樣運作的。J.P.摩根大通去年宣布了云核心基礎設施遷移,用于核心銀行系統。因此,他們有工作流在運行它,但仍有大約 50% 或更多是在本地。

      這是一個完美的例子。如果我們進入革命的 20 年,企業應該這樣采用新技術。如果我們回顧過去,這個新事物不同,它會改變我們的工作方式,但它有一些好處。誰會冒險開始?初創公司和小公司會進入高端市場。這 100% 是我在 Stripe 所做的。這就是 Stripe 取得巨大成功的方式。我們花了很多年才為亞馬遜處理付款,我們必須一路學習,就像你從成長中的小客戶那里學到東西一樣。他們說,如果你要支持我們 1000 萬的支付量,你最好提供這些功能。客戶會逐漸迫使您做好企業準備。

      這與人工智能完全不同。這就是我仍在思考的原因。

      我認為為什么非常有趣。初創公司面臨的一個大問題是,初創公司是否在現有企業之前獲得創新,或者現有企業是否在初創公司建立全新業務之前獲得創新的分配并將其實際集成到他們的系統中?而且他們做得更快。Clarinet花了兩個月的時間,Bore和Stanley花了一年時間。他們沒有像JPM那樣花20年時間將核心系統遷移到云端。

      所以我認為,如果我們考慮云基礎設施或Stripe支付平臺所采用的模式,你會發現這需要幾年時間。某個時候,像摩根士丹利這樣的公司會關注我。

      但我不會從那里開始。我加入OpenAI時,我們剛剛推出了ChatGPT。我想不出有多少財富500強的CEO沒有聯系過OpenAI要求會面。

      我不認為AWS或Azure以及其他云提供商的情況會如此。我認為ChatGPT可能在11月推出。假期來了,很多高管都說,他們一直在讀關于ChatGPT的文章,并嘗試了一下。然后他們有了這種發自內心的頓悟時刻,覺得這可能會對他們的員工產生真正的影響。

      ChatGPT的本能性質在于,當你與它互動的那一刻,它就是一款非常引人注目的產品。它的演示非常清晰,這實際上是ChatGPT的目標。它本應是一個低調的研究預覽,也是人們的一種方式。GPT-3是ChatGPT的基礎模型,已經上市很長時間了,我想有一年多了,而這只是一個頂層界面。

      我的理論是,這些高管看到它后頓悟了,認為這是下一個技術平臺,我們需要領先于它。所以你最終沒有走上那條通往企業的緩慢道路。企業意識到,我們必須快速行動。也許他們從過去的經驗中吸取了教訓,比如移動和云計算,認為這些事情即將到來,他們最好快速行動,而不是等待。

      無論如何,突然之間,我們被迫成長為一家公司,比我們計劃的要快得多。這是我遇到過的最有趣的職業挑戰之一。

      這不僅僅意味著擁有一款出色的產品,但如果你有一款出色的產品,再加上出色的演示,那么它真的可以吸引核心客戶。

      我認為對于假期在家的高管來說,云演示效果不是很好。

      Chachi Bouti的演示,Snowflake很棒,但對于高管來說,Snowflake演示并不那么令人興奮。

      Chachi Bouti所做的所有愚蠢的東西、詩歌和韻律,至少當我第一次看到它時,就像魔術一樣。這太神奇了,并要求它寫一首關于任何事情的詩。它能夠想出完美的押韻方案。我認為,這種看似愚蠢的功能很快就能證明其價值。哦,等等,能夠寫詩的系統也可能寫得出法律摘要。

      您從 Stripe 的建立、上市實踐和企業過程中學到了什么?這些經驗是否已經轉化為開放式 AI?開放式 AI 是一種不同的產品,一家不同的公司。

      是的,雖然有一些相似之處,但我們在 Stripe 和 OpenAI 看待世界的方式有所不同。我們有不同的市場細分,并且在 Stripe 開發了銷售團隊來為初創公司、我們所謂的數字原生代和傳統企業制定計劃。在 OpenAI,我仍然以這種方式看待世界,并經常使用這個框架。

      不同的是,在 Stripe,當我們第一次創建企業銷售團隊時,這是一個實驗。我們的想法是看看我們需要什么才能贏得一家企業。因此,第一個企業銷售團隊更像是一群前瞻性部署的產品經理,他們也在嘗試做交易。我們會走進市場,與很多企業交流。結果發現,我們向他們展示的 API 文檔雖然在創業社區中很受歡迎,但企業客戶并不在意。

      事實證明,企業公司購買支付服務的人并不是我們在 Instacart 的買家,后者通常是產品經理。企業中有一個新角色,叫做支付主管。這個支付主管在一個完全不同的組織里,他們在財務部門,關心很多不同的事情。他們是支付生態系統的專家,而我們當時的銷售團隊中沒有人具備這種專業知識。所以,如果我們要贏,我們必須完全重新設想我們的市場行動。這就是我們在 Stripe 所做的。我們花了相當多的時間才到達那里。

      人們認為 Stripe 非常成功,事實也確實如此,它是一家偉大的公司。但是,進入企業市場需要學習很多東西。

      每個在那里的人都會告訴你,事實并非如此簡單。這是一條坎坷的道路,我們花了一段時間才弄清楚。

      這就是 OpenAI 真正與眾不同的地方。我們仍然必須找到一種方法來服務所有這些客戶,但我們沒有像在 Stripe 那樣經歷漫長的學習期。所以,最終,我與團隊分享的答案是,我們可以取勝的地方在于我們與競爭對手的不同之處。我們每天醒來,所想的都是人工智能。

      與亞馬遜競爭是相當可怕的。當你從競爭的角度看誰會讓你害怕,是亞馬遜還是谷歌?

      如果你仔細想想,亞馬遜和谷歌可能擁有世界上最大的銷售團隊,或者接近最大的銷售團隊,以及龐大的用戶群。他們可以提供各種交叉補貼和信貸。因此,他們應該因為所有這些原因而擊敗我們,而且他們甚至不應該接近我們。但他們沒有的是我們那樣的專注力,這又回到了我們關于顛覆的討論。如果你是 AWS 或 GCP 的銷售代表,你不僅要銷售 AI,而 AI 目前只是整個云支出的一小部分,你還必須銷售所有其他服務,并且你必須是所有這些服務的專家。而你獲得報酬的方式可能不會因你將 AI 帶給客戶而給予不成比例的獎勵。因此,我們在市場上看到很多行為,AWS 或 GCP 銷售代表會試圖將 AI 捆綁到更廣泛的更新中。

      客戶實際上確實需要深厚的 AI 專業知識,因為他們面臨著生存挑戰:AI 如何融入我的業務?他們不知道答案。他們不想聽到這樣的推銷,比如,這里有 25 件東西,我想向你推銷,但你需要做一點,這是 Microsoft Word 和剪輯。他們想要的只是獲得 AI 方面的幫助。

      我們試圖與客戶打交道的真正方式是說,看,我們無法像競爭對手那樣為您提供那么多的時間或人力,但我們能為您提供的是對 AI 的癡迷。所以我告訴團隊,讓我們專注于 AI 的最佳部署,而不是最多的部署,我們不會以最多的部署取勝。我們不會以規模取勝,但我們可能能夠以質量取勝。如果你這樣做,你就會在市場上樹立聲譽。

      實際上,我覺得這對任何公司來說都完全一樣,如果你以卓越和滿意的客戶而聞名,沒有人會回頭說,我不應該在早期的客戶關系上投入那么多。我應該把自己分散到極致。我們仍然是一家初創公司,我們還處于起步階段。因此,我們能否成功取決于我們能否真正實現出色的人工智能部署。

      這又回到了 YC 的建議,比如,做一些無法擴展的事情。雖然我認為他們真正想說的是,做一些適合你的規模的事情。你們規模化運營,你可以支持大客戶,但可能無法支持每天給你和你的團隊發電子郵件的 10,000 名客戶。

      當我聽到“做一些無法擴展的事情”時,我也聽到“實際上要嘗試非常深入地了解客戶問題,即使這意味著要花費比你認為應該花在客戶身上更多的時間。”因為一旦你真正深入地理解了這一點,你就可以以一種可行的方式進行擴展。

      但是,在你理解客戶問題之前,你將無法擴展,因為你會假設,我認為這是我面臨的最大挑戰,有很多公司只是在購買人工智能,因為他們被告知,你必須對人工智能做些什么,去找到一種與 OpenAI 合作的方法。你可能會產生這種虛假的安全感,比如,哦,我們的產品適合市場,你看,美元進來了,注冊人數也進來了。但在我看來,現在的北極星不是收入,而是人工智能的成功部署。

      這需要做一些無法擴展的事情,那就是花時間和客戶打交道,說,好吧,你在我們身上花了很多錢,這有效嗎?這能提供投資回報嗎?如果答案是肯定的,那很好。但很多時候,答案可能是,我們已經做了很多實驗,這五個實驗都沒有成功,這兩個實驗,你能幫我們理解為什么嗎?

      是的,我認為公司內部最重要的溝通循環之一,尤其是在金融科技領域,我很好奇這如何轉化為OpenAI,是在工程和客戶聲音之間。客戶的聲音首先被聽到,比如,當你在Stripe時,你稱自己為前線部署的銷售人員,但實際上,你就像一個產品人員一樣運營。所以我很好奇你如何整合客戶的反饋并將其提供給研究團隊,因為你們的產品非常技術化。

      我明白在金融科技公司,產品技術性較低,這個循環需要非常緊密。但它實際上是如何在OpenAI中體現出來的,即接受客戶反饋并通知,比如訓練核心模型或頂層?

      是的,簡短的回答是,我們真的沒有向研究人員提供大量的客戶研究人員和客戶洞察。研究人員正在嘗試制作更智能的模型。他們知道建立一個更智能的模型需要做什么,他們有自己的評估等。但客戶研究對于您提出的第二點非常重要,即模型頂層。那么我們的客戶希望如何與模型交互?例如,他們希望輸出處于某種受限模式嗎?他們希望批量調用還是獲得同步響應?他們有多關心延遲、吞吐量和成本?因此,這種反饋非常有價值。

      現在的困難是核心模型正在以更快的速度改進,以至于它們幾乎取代了整個其他層。

      是的,但您與模型交互的方式仍然很重要,因為在下面,智能會變得更好。但如果智力很難建立,那么無論智力是處于五年級、七年級還是九年級的水平,我都無法真正使用它。

      所以我認為,獲得反饋的方法是聘請一支非常好奇的團隊。因此,花時間與客戶打交道的團隊需要非常高效、技術嫻熟,因為你做不到,他們只是,PM組織比上市組織要小。所以你必須有人……

      我認為這是最難招聘的角色。我稱他們為解決方案工程師,因為這不是一個很好的術語。他們不是產品人員,不是客戶成功人員,也不是銷售人員。解決方案很笨拙,但它有點正確……我認為兩者兼而有之。

      我認為,對于任何上市團隊來說,要想真正出色地工作,你需要那些更偏向業務方面但又非常技術嫻熟的人,以了解核心業務問題。但你還需要這些解決方案工程師,我們稱他們為解決方案架構師,他們技術性更強,能夠理解技術挑戰。那么,你們這兩個人,這種業務主管和技術主管,花了大量的時間與客戶打交道,他們可以回到產品團隊,說,好吧,這些是我們正在解決和沒有解決的業務問題。這些是我們正在解決和沒有解決的技術問題。如果這個團隊在做他們的工作,那么產品團隊就可以行動得更快。但我認為很多公司失敗的地方在于他們從現場得到的反饋很差勁,他們不知道要為誰或什么而構建。現場的人們并不認為提供反饋是他們的工作。他們覺得,他們的工作是達到配額,這是另一回事。我們現在在 OpenAI 沒有配額,我認為這非常重要。

      你如何激勵銷售團隊?

      他們只是拿工資,沒有獎金。他們只得到現金和股權,和 OpenAI 其他人一樣得到報酬。

      這就創造了一種完全不同的銷售人員,不管是好是壞,它都會吸引到一種完全不同的銷售人員。

      我認為在這個階段這實際上更好,因為我們還不確定劇本是什么。當市場尚未確定時,重要的是,市場尚未確定,流程也尚未確定。

      比如,如果我說,這是你的劇本,我可以給你一個配額,雷克斯。這是你取勝的方法。如果你做這些事情,你可能會得到你的配額。但我現在不知道劇本說了什么,所以我需要愿意幫助制定劇本的人。如果我給他們設定配額,這些人將無法有效地做到這一點。因為如果我給他們設定配額,他們會做很多事情來優化他們的配額,而不是優化幫助我制定劇本。

      我可以想象這是真的,盡管我不確定,可能是谷歌和微軟……好吧,你們正在與微軟合作,但谷歌和亞馬遜,他們的銷售人員有配額。

      哦,100%。他們有配額。所以他們試圖將人工智能強行塞入現有的配額系統,這對新技術來說并不適用。你希望你的銷售代表處于發現學習模式,而不是早期的交易模式。五年后,也許這對全球的 GCP 和 AWS 來說會很好,但我認為它今天不起作用。

      我認為你構建的東西越創新,配額就越不奏效。因為它的確定性較差。早期階段與后期階段,

      我認為在早期階段,你根本無法生存。

      五年后你會有配額嗎?

      也許,可能,但今天不行。

      我認為這是對的。

      在建立市場營銷組織方面還有其他有趣的經驗嗎?比如,你需要擴大到什么程度?你是否需要為上市組織招聘一大批人?

      是的,我們會的,但你只能這么快地招聘。為了讓你了解我們面臨的規模,我們曾有 75 萬張未答復的來電單。

      OpenAI 現在有多少名員工?

      我們今天大約有 1,200 名員工。go-to-market組織包括支持、銷售、解決方案、開發者關系等,那是 200。對于我們這樣規模的公司來說,這個比例實際上比你預期的要小。因為過去五年多來它主要是一家研究公司,因此我們規模很小。我們正在努力擴展業務,目前我們已經有200名員工。當我一年多前開始創業時,我們大約有10到15名員工。因此,盡管我們仍在高速增長,但這遠遠不足以滿足我們的需求。

      在招聘方面,我認為你需要弄清楚的是我的終端速度是多少,并且要非常自律地控制這個速度。因為如果你增長得太快,會破壞很多東西。早期公司的魔力之一就是創造一種像滾雪球一樣發展的文化。如果你的團隊正在做你希望他們做的活動,他們就會訓練下一批員工做這些活動。如果你發展得太快,你就無法了解第二批、第三批和第四批員工的活動。因此,你要以一種你覺得舒服的方式,以能夠自我復制的速度發展。

      我認為,當你在一年內增長兩倍或三倍以上時,這種情況就會開始改變。

      文化非常重要。你必須非常自律地制定激勵機制,無論是配額、雇傭對象,還是其他方面。

      接下來,我們應該考慮客戶和金融服務如何使用這些技術。你對今天正在探索的特定用例感到興奮嗎?

      是的,我認為我們將看到的最大變化可能是在金融服務領域,即我之前談到的多模式內容。因此,與模型進行更多的音頻交互和語音交互。我認為我們還將開始看到模型承擔更復雜的任務。在某些情況下,模型可能會一次思考幾個小時。

      在我們當前與技術的互動中,有很多事情是我們要求一些東西,然后希望它立即得到回報。我們對技術沒有太多的耐心。但如果你開始把人工智能看作是工作中的助手或同事,你不會說,"嘿,雷克斯,你能幫我做一點關于西班牙衍生品市場的研究嗎?你能在1.2秒內完成嗎?" 這就像一件荒唐的事。而且,我不需要它在1.2秒內完成。隨著這些模型的發展,我認為你會看到更多像模型一樣的長期工作,特別是在金融服務領域,產出的卓越性非常重要。但在某些流程中,你獲得的時間并不那么重要。

      是的,絕對如此。這真的非常有趣。

      感謝您向我們介紹各種不同的客戶用例,也感謝您與我們分享您的空間。感謝您的邀請,

      非常感謝。

      特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

      Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

      相關推薦
      熱點推薦
      沃爾沃XC60,只要19.99萬?二線豪華品牌價格崩了!

      沃爾沃XC60,只要19.99萬?二線豪華品牌價格崩了!

      熱點科技
      2025-12-07 18:41:19
      坎耶30歲愛妻連體衣外穿仍放飛,被曝受控于丈夫,只能吃小份沙拉

      坎耶30歲愛妻連體衣外穿仍放飛,被曝受控于丈夫,只能吃小份沙拉

      譯言
      2025-12-06 14:25:26
      人不會無故患甲流!研究發現:得甲流的人,多半離不開這8點

      人不會無故患甲流!研究發現:得甲流的人,多半離不開這8點

      鬼菜生活
      2025-12-06 03:58:02
      王晶終于坦白!陳百強英年早逝主因不是何超瓊,原來我們都被騙了

      王晶終于坦白!陳百強英年早逝主因不是何超瓊,原來我們都被騙了

      白面書誏
      2025-12-07 13:06:30
      恭喜王曼昱!與馬克龍握手,被選為官方封面照,不卑不亢大國自信

      恭喜王曼昱!與馬克龍握手,被選為官方封面照,不卑不亢大國自信

      十點街球體育
      2025-12-08 01:20:05
      果然不出所料!會議取消,中方不見高市早苗!

      果然不出所料!會議取消,中方不見高市早苗!

      花花娛界
      2025-12-08 22:05:50
      MSN組隊失敗!內馬爾沒來,蘇亞雷斯可能無法再跟梅西同隊了!

      MSN組隊失敗!內馬爾沒來,蘇亞雷斯可能無法再跟梅西同隊了!

      氧氣是個地鐵
      2025-12-08 22:29:33
      41歲末節之王!詹姆斯連砍10分+致命搶斷,湖人雙加時險勝76人

      41歲末節之王!詹姆斯連砍10分+致命搶斷,湖人雙加時險勝76人

      大眼瞄世界
      2025-12-08 23:53:58
      離婚1年,老鑼和新歡恩愛 只有二兒子心疼龔琳娜,看來楊冪沒說錯

      離婚1年,老鑼和新歡恩愛 只有二兒子心疼龔琳娜,看來楊冪沒說錯

      白面書誏
      2025-12-08 16:20:15
      江西豐城一女護士患癌請病假遭拒?衛健委通報

      江西豐城一女護士患癌請病假遭拒?衛健委通報

      界面新聞
      2025-12-08 16:29:53
      陳震偷稅被封后轉戰w網!兒子美籍身份曝光,"國內撈金國外花"?

      陳震偷稅被封后轉戰w網!兒子美籍身份曝光,"國內撈金國外花"?

      奇思妙想草葉君
      2025-12-07 22:51:40
      自信心正在不斷提升!勇士后場新秀在攻防兩端的作用都非常突出?

      自信心正在不斷提升!勇士后場新秀在攻防兩端的作用都非常突出?

      稻谷與小麥
      2025-12-08 22:59:40
      南寧一小學招標公告標題變聊天記錄,項目公司發布情況說明

      南寧一小學招標公告標題變聊天記錄,項目公司發布情況說明

      界面新聞
      2025-12-08 20:00:32
      16GB+512GB,雙12價格“雪崩”的3款旗艦手機,流暢再戰五六年

      16GB+512GB,雙12價格“雪崩”的3款旗艦手機,流暢再戰五六年

      科技阿維
      2025-12-08 18:58:37
      某光伏大廠員工集體大罷工!

      某光伏大廠員工集體大罷工!

      黯泉
      2025-12-08 19:20:03
      中東誰也打不過的以色列,在東亞算什么水平?韓國:誰也打不過

      中東誰也打不過的以色列,在東亞算什么水平?韓國:誰也打不過

      比利
      2025-11-29 18:49:51
      中國通告全球:經中央軍委批準,全軍統一發放預備役人員證

      中國通告全球:經中央軍委批準,全軍統一發放預備役人員證

      科技虎虎
      2025-11-26 20:47:11
      笑噴了!庾澄慶急召長子回家吃飯,恩利邊吃邊惦記回秦昊這邊

      笑噴了!庾澄慶急召長子回家吃飯,恩利邊吃邊惦記回秦昊這邊

      甜檸聊史
      2025-12-06 10:11:36
      12306客服回應“乘務員被指在洗手池內洗水果”:餐車大都有專門洗水果的水池,也有預先洗好的

      12306客服回應“乘務員被指在洗手池內洗水果”:餐車大都有專門洗水果的水池,也有預先洗好的

      閃電新聞
      2025-12-08 17:57:29
      更加積極:12月政治局會議傳遞六大信號

      更加積極:12月政治局會議傳遞六大信號

      澤平宏觀展望
      2025-12-09 00:09:42
      2025-12-09 00:44:49
      Web3天空之城 incentive-icons
      Web3天空之城
      美好,有趣的,值得銘記的
      96文章數 83關注度
      往期回顧 全部

      科技要聞

      國產機械硬盤尚未攻克,華為高管呼吁

      頭條要聞

      江蘇男子貴州投資養羊損失近百萬 543只羊被"躲貓貓"

      頭條要聞

      江蘇男子貴州投資養羊損失近百萬 543只羊被"躲貓貓"

      體育要聞

      一位大學美術生,如何用4年成為頂級跑者?

      娛樂要聞

      章子怡被說拜高踩低 主動和卡梅隆熱聊

      財經要聞

      百億金融爆雷 浙商大佬"朋友圈"也不靈了

      汽車要聞

      純電全尺寸大六座 凱迪拉克"小凱雷德"申報圖曝光

      態度原創

      房產
      藝術
      游戲
      公開課
      軍事航空

      房產要聞

      全球征集方案!涉及2400畝,秀英港又有新動作!

      藝術要聞

      一棵樹的力量

      KeSPA杯:HLE和T1保持不敗,宙斯和小呂布有望碰撞Faker

      公開課

      李玫瑾:為什么性格比能力更重要?

      軍事要聞

      柬泰沖突細節披露 洪森要求部隊“克制”

      無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 山丹县| 沧源| 国模在线视频| 免费人成再在线观看视频| 三级做爰高清视频| 3d动漫精品一区二区三区| 亚洲人人妻| 99视频在线播放| 日韩天码| 91久久国产成人免费观看| 亚洲人成精品久久久久| 亚洲精品无码永久在线观看性色| 亚洲人成无码区在线观看| 欧美乱大交xxxxx疯狂俱乐部| jjzzxxxx| 国产浮力第一页| 毛片av在线尤物一区二区| 亚洲欧美在线观看| 欧美丰满老妇性猛交| 国产亚洲欧美精品永久| 日韩人妻综合| 中日韩在线| 国产三级制服丝袜| 淫色综合网| 成人看的污污超级黄网站免费 | 富婆如狼似虎找黑人老外| 国产极品美女高潮抽搐免费网站| 安福县| 在线视频a| 国产精品久久午夜夜伦鲁鲁| 人妻精品视频| 韩国三级+mp4| 国内精品久久久久影视| 99re6在线视频精品免费| 香蕉久久av一区二区三区| 国产又色又刺激高潮视频| 欧美交换配乱吟粗大25p| 女人爽到高潮的免费视频 | 国产伦孑沙发午休精品| 欧美猛少妇色xxxxx| 人妻福利|