Új hozzászólás Aktív témák

• #50182 S_x96x_S addikt b. #50175

  Új Válasz 2025-11-30 05:48:11 #50182

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz b. #50175 üzenetére

  Valóság meg : [Analysis’ Hardware Benchmarking shows NVIDIA achieving a ~5x tokens-per-dollar advantage over TPU v6e (Trillium), and a ~2x advantage over MI300X, in our key inference cost metric]
  ha google 5x sebességre lép előre és ugyan ezen az áron adja mint a V6e modellt ( amit kétlek)akkor is csak utolérné az Nvidia H100 gyorsítót nem hogy előnye lenne.

  A kedvenc szakértőd ( "Dylan Patel" )
  az általam korábban linkelt cikkben
  

  egy külön bekezdést szentelt
  az általad linkelt tpu bench kritikájának.
  

  https://newsletter.semianalysis.com/p/tpuv7-google-takes-a-swing-at-the?open=false#%C2%A7vllm-tpu-benchmarks-are-not-relevant-yet
  """
  vLLM TPU Benchmarks are not relevant yet
  
  This week, there was an new inference benchmark on TPUv6e that dropped claiming that TPUv6e has 5x worst performance per dollar than NVIDIA GPUs. We disagree mainly due to 2 reasons. First of all, this is benchmark is on vLLM on TPUs which was only released an couple month ago thus does not yet have optimized performance. Google internal Gemini workloads & Anthropic workloads work on an internal custom inference stack that has better perf per TCO than NVIDIA GPUs.
  
  
  Secondly, Aritifical Analysis’s cost per million tokens is using the list price of $2.7/hr/chip for TPUv6e. No major customers of TPUs is paying anywhere close to that much for TPUv6e given the BOM is a tiny fraction of the H100. As everyone knows, most clouds have an high ball list price such that their account sales executives can do “car salesman” tactics and give massive discounts so that the customer thinks they are getting a good deal. The SemiAnalysis AI TCO Model tracks the acutal market rental price of TPUs across all the various contract lengths (1 month, 1 year, 3 years, etc).
  """"

• #50176 S_x96x_S addikt b. #50175

  Új Válasz 2025-11-29 18:27:21 #50176

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz b. #50175 üzenetére

  ha google 5x sebességre lép előre és ugyan ezen az áron adja mint a V6e modellt ( amit kétlek)akkor is csak utolérné az Nvidia H100 gyorsítót nem hogy előnye lenne.

  nyilvánvalóan a gyakorlati döntéseknél
  te - se csak 1játék - 1tesztelő által végzett ad-hoc tesztjére
  hagyatkozol,
  mert sok minden félremehet.

  És az is tuti biztos,
  hogy nem a te linkeden található teszt
  alapján döntenek.

  [ Valószínüleg ]
  a Google kiküldött 5-10 szuper fejlesztőt az Anthropic/OpenAI/Meta/*/* -hoz
  akik az adott cég LLM modeljét
  extrém módon kioptimalizálták
  és pariba hozták az nvidiás megoldással,
  és emellé tettek még egy vonzó költség ajánlatot,
  ami nyilván nem az, amit kisembereknek a honlapon feltüntetnek.

  Emellé tedd hozzá, hogy az nvidia függést is diverzifikálni lehet ezzel a lépéssel, és igy az adott cégnek lesz alternativája, hogyha
  az nvidia duzzogásból büntetni akarja őket.
  És ezt nyiltan kommunikálják az ügyfeleknek,
  ( ~ megfenyegetik )
  nehogy más AI céggel is próbálkozzanak,
  mert annak következménye lesz.

  TomsHW-2024-feb: "Nvidia's AI customers are scared to be seen courting other AI chipmakers for fear of retaliatory shipment delays, says rival firm"

  Persze ezt a fenyegetést/kényszert
  - polkorrektül "Agressziv Sales technikának" nevezik,
  de annyira túltolta az nvidia,
  hogy a hatóságok ( nem csak az USA ) elkezdtek vizsgálódni.
  "Here’s why Nvidia’s aggressive sales tactics are in the DOJ’s crosshairs" ( Fortune ; September 4, 2024 )
  ( a vádak szerint "kötési megállapodásokat" alkalmaz az nvidia (pl. hálózati felszerelést kell venni az AI-chippel együtt),
  és kizáró kedvezményeket adnak,
  ha a vevők elkerülik a versenytársakat. )

  Az nvidia hozzáállása, valószínüleg még jobban gyorsítja
  a cégek leválását az nvidiáról - amint van egy reális alternativa.
  Az OpenAI-t csak erőfeszítéssel "TALÁN" sikerült kimenteni a GoogleTPU markából, ami az OpenAI - negyedik lába lett volna
  az ismert másik 3 mellett (NVIDIA | AMD | Broadcom )
  Azért csak "TALÁN "- mert még mindog nincs meg a végleges deal,

  Vajon miért nem akar még
  mindig megegyzeni az NVidia és az OpenAI ?
  2025-nov-20: "NVIDIA Says There’s No Guarantee OpenAI Will Proceed With the $100 Billion Mega-Deal, But the Firm Remains Disciplined With Its Execution"
  amikor az AMD és a Broadcom deal már végleges;

  Szerintem (==spekuláció) a Google még jobb ajánlatott tett le az OpenAI -nak ; és most megy a további egyezkedés,
  hogy az nvidia ad -e újabb kedvezményt.

  Ettől függetlenül az nvidia termékei műszakilag jók és toppon vannak, viszont egy jobb versenyhelyzet a piacnak és a technikai fejlődésnek is jobb lenne.
  ( Persze az nvidia az ökosziszitéma feletti kontrollban hisz, és egyre inkább kihagyja a partnereit ; és ennek a taktikának vannak előnyei és hátrányi is )

  Tanulságos az Intel 10-15 évvel ezelőtti hozzáállása;
  ami az akkor monopol helyzetéből akadt. És annek a következménye az Apple - arm -ra váltása
  ( amint volt alternativa )

  ---

  a TREND ....
  1.) a hyperscalerek (Microsoft, Google, Meta)
  egyre inkább saját AI-chipet fejlesztenek,
  csökkentve az nvidia-monopóliumot.
  
  2.) az nvidia bruttó margó csúcsa (80% körül -2025 -ben)
  már a múlté, mert a vásárlók alkupozíciója egyre erősödik.

  Fortune - November 18, 2025
  "Nvidia looked invincible. Now it’s showing cracksBy helping fund buyers like OpenAI and CoreWeave, Nvidia is shaping demand for its own chips—along with the risks that come with it."
  
  

Új hozzászólás Aktív témák