#tokens
4 stories taggedtokens.
Rippling verbrannte Millionen für KI. Also baute das Unternehmen ein Tool, um das zu stoppen.
Das HR-Softwareunternehmen entdeckte, dass ein Ingenieur 50.000 Dollar pro Monat für KI-Token ausgab. Seine neue AI Spend Console soll sicherstellen, dass das dir nicht passiert.
Niemand weiß, wie man KI preist. Das ist ein Problem für alle
Unternehmen zahlen für KI pro Token – eine winzige Texteinheit, die die Software verarbeitet – aber niemand, weder Startups noch Microsoft noch die Firmen, die KI-Services verkaufen, kann vorhersagen, wie viele Token eine Aufgabe verbraucht. Die Budgets explodieren, und die Rechnung kommt an, bevor jemand bemerkt, was passiert ist.
Die US-Armee ist die KI-Guthaben ausgegangen. Das sagt uns folgendes.
Die Armee versprach ihren Mitarbeitern unbegrenzten KI-Zugang. Sechs Wochen später waren die Guthaben aufgebraucht. Nun sehen sich Soldaten und zivile Mitarbeiter neuen Limits gegenüber, und ein Mitarbeiter sagt, dass die Tools ohnehin unzuverlässig waren.
KI lernt, ihre eigenen Worte zu budgetieren, bevor sie schreibt
Eine neue Forschungstechnik lehrt KI-Modelle, die Kosten jedes generierten Tokens zu berechnen und spart unnötige Rechenleistung, ohne die Qualität zu beeinträchtigen.